[論文レビュー] Fast Exact Conformalization of Lasso using Piecewise Linear Homotopy

Jing Lei|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿では、1つの訓練点の摂動下でのLasso解の追跡に、区分的線形ホモトピーを活用することで、高次元Lasso回帰における適合予測の高速かつ正確なアルゴリズムを提案する。この手法は、一回のLassoフィットで予測区間の端点を特定することで、正確な予測集合を計算し、グリッドベースの手法と比較して顕著な計算コストの削減を達成しながら、モデル不適合下でも有効な被覆を維持する。

ABSTRACT

Conformal prediction is a general method that converts almost any point predictor to a prediction set. The resulting set keeps good statistical properties of the original estimator under standard assumptions, and guarantees valid average coverage even when the model is misspecified. A main challenge in applying conformal prediction in modern applications is efficient computation, as it generally requires an exhaustive search over the entire output space. In this paper we develop an exact and computationally efficient conformalization of the Lasso and elastic net. The method makes use of a novel piecewise linear homotopy of the Lasso solution under perturbation of a single input sample point. As a by-product, we provide a simpler and better justified online Lasso algorithm, which may be of independent interest. Our derivation also reveals an interesting accuracy-stability trade-off in conformal inference, which is analogous to the bias-variance trade-off in traditional parameter estimation. The practical performance of the new algorithm is demonstrated using both synthetic and real data examples.

研究の動機と目的

• 高次元設定における適合予測の高い計算コストに対処すること。特にLasso回帰に対して。
• グリッドサーチやサンプル分割に依存せずに、正確かつ効率的な適合予測集合の計算手法を開発すること。
• 単一のデータポイントの摂動下でのLasso解の追跡を可能にする、新しいホモトピーに基づくフレームワークを確立すること。
• 適合推論における精度と安定性のトレードオフ（バイアス・バリアンスのトレードオフに類似）を明らかにし、分析すること。
• 副次的な成果として、より解釈可能で計算効率の良いオンラインLassoアルゴリズムを提供すること。

提案手法

• 本手法は、1つの訓練サンプルの応答値の摂動下でのLasso解パスの区分的線形ホモトピーを利用する。
• 候補となる応答値の関数として、再フィットされた残差を明示的に区分的線形関数として追跡することで、予測集合の境界を正確に特定可能となる。
• アルゴリズムは、ホモトピー経路に沿ったアクティブ集合の変化と残差の挙動を分析することにより、予測区間の端点を導出する。
• 適合予測の対称性および交換可能性の性質を活用することで、最小限の仮定のもとで有効な平均被覆を保証する。
• 元のデータに対する一回の初期Lassoフィットから、すべてのホモトピー経路を計算することで、繰り返しモデルフィットを回避する。
• 本手法はリッジ回帰への拡張が可能であり、一般化LassoやグラフィカルLassoなどの他のスパース推定問題にも適応可能である。

実験結果

リサーチクエスチョン

• RQ1 グリッドサーチやサンプル分割に依存せずに、Lassoの適合予測を正確かつ効率的に計算できるか？
• RQ2 応答値の摂動下でのLasso解の区分的線形ホモトピーが、適合予測集合の正確な計算をどのように可能にするか？
• RQ3 高次元回帰において、残差の安定性と適合予測区間の幅の関係は何か？
• RQ4 正則化パラメータの選択が、適合推論における精度、安定性、計算効率のトレードオフにどのように影響するか？
• RQ5 ホモトピーフレームワークを用いることで、より効率的かつ安定したオンラインLassoアルゴリズムを導出できるか？

主な発見

• Lassoの適合予測集合は区間の和集合であり、本アルゴリズムは元のデータに対する一回のLassoフィットで、これらの区間の正確な端点を計算する。
• 計算コストをO(100×)から候補値の数に対してほぼ線形にまで削減し、グリッドベースのアプローチと比較して顕著な高速化を達成する。
• モデル不適合下でも、真のモデルが密である場合や設計行列が悪条件である場合でさえも、有効な平均被覆を維持する。
• 糖尿病およびボストン住宅価格データを用いた実験結果から、100回のサンプル分割において、最小限のばらつきでほぼ理想に近い被覆が達成された。
• ボストン住宅価格データでは、正則化パラメータを小さくすると予測区間が短くなる傾向が見られ、高い予測可能性とス hrinkage の必要性の低さを示している。
• 二次項の導入により、ボストン住宅価格データでは予測性能が向上し、区間長が顕著に短くなったが、糖尿病データではほとんど影響がなかった。