[論文レビュー] Parametric Programming Approach for More Powerful and General Lasso Selective Inference

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|Apr 21, 2020

Statistical Methods and Inference参考文献 49被引用数 11

ひとこと要約

本稿では、特徴量の符号に過剰に条件付けないことで、数千のアクティブな特徴量を伴う状況でも強力かつ計算的に実行可能な選択的推論を可能にする、パrametric programmingに基づくLasso回帰の選択的推論手法を提案する。テスト統計量の方向に沿ってLasso解の経路を追跡することで、すべての符号組み合わせを列挙することなく、関連する選択イベントを効率的に同定する。これにより、従来の手法に比べて統計的パワーと実用性が顕著に向上する。

ABSTRACT

Selective Inference (SI) has been actively studied in the past few years for conducting inference on the features of linear models that are adaptively selected by feature selection methods such as Lasso. The basic idea of SI is to make inference conditional on the selection event. Unfortunately, the main limitation of the original SI approach for Lasso is that the inference is conducted not only conditional on the selected features but also on their signs -- this leads to loss of power because of over-conditioning. Although this limitation can be circumvented by considering the union of such selection events for all possible combinations of signs, this is only feasible when the number of selected features is sufficiently small. To address this computational bottleneck, we propose a parametric programming-based method that can conduct SI without conditioning on signs even when we have thousands of active features. The main idea is to compute the continuum path of Lasso solutions in the direction of a test statistic, and identify the subset of the data space corresponding to the feature selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned computational bottleneck but also improves the performance and practicality of SI for Lasso in various respects. We conduct several experiments to demonstrate the effectiveness and efficiency of our proposed method.

研究の動機と目的

• 既存のLasso選択的推論手法の主な限界、すなわち特徴量の符号に過剰に条件付けられることによる統計的パワーの低下を是正する。
• 選択された特徴量の数が多い場合に、$2^{| ext{active features}|}$個の符号組み合わせを列挙する計算の非現実性を克服する。
• 正確な第一種誤り率制御を維持しながら、統計的パワーを向上させるスケーラブルな選択的推論手法を開発する。
• 交差検証を用いたデータ駆動型正則化パラメータ選択を扱えるようにフレームワークを拡張する。これは実践的な応用において一般的な課題である。
• 非正規ノイズおよび未知の分散下でも、実世界の設定において実用的であることを保証する、手法の頑健性を示す。

提案手法

• データ空間におけるテスト統計量の方向に沿ってLasso解の経路を追跡するために、パラメトリックプログラミングを活用する。
• 選択イベントを、アクティブセットによって定義されるポリトープと解の経路の交点として特徴づけ、すべての符号組み合わせの列挙を回避する。
• パrametrized直線と交差するポリトープのサブセットのみを特定することで、$2^{| ext{active features}|}$に比べて大幅に評価対象の領域数を削減する。
• 経路に沿ってアクティブセットの変化を追跡することで、テスト統計量の切断領域を構築し、正確な分布の計算を可能にする。
• 交差検証チューニングを統合するために、すべての可能なCVフォールドおよびパrameter値における選択イベントを、ポリトープの和集合としてモデル化する。
• 合成データおよび実世界の高次元データセット（最大5,787の特徴量、660のアクティブ特徴量を含むバイオインフォマティクスデータを含む）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の符号に条件付けを排除することで、Lassoの選択的推論を計算的実行可能性を損なわずに、より高いパワーで実現できるか？
• RQ2 すべての$2^{| ext{active features}|}}$個の符号組み合わせを列挙せずに、高次元Lassoにおける選択イベントを効率的に特徴づけることは可能か？
• RQ3 アクティブ特徴量の数が増加するに従い、特に数千単位の特徴量において、本手法のスケーラビリティはどのように変化するか？
• RQ4 非正規ノイズおよび未知の誤差分散下でも、本手法は有効な第一種誤り率制御を維持できるか？
• RQ5 交差検証を用いたデータ駆動型正則化パラメータ選択を、計算的に実行可能なかたちで本手法に拡張できるか？

主な発見

• 特徴量の符号に過剰に条件付けないことで、符号条件付け手法に比べて顕著に高い統計的パワーを達成する。
• パrametrized直線と交差するポリトープの数は、$2^{| ext{active features}|}$に比べて著しく少ないため、大規模な特徴量集合に対しても計算負荷が大幅に低減される。
• 最大660のアクティブ特徴量を有する実世界のバイオインフォマティクスデータセットでは、1つのp値あたりの平均計算時間が0.38秒未満であり、高い効率性を示す。
• 非正規ノイズ（ラプラス分布、歪正規分布、スチューデントt分布）および分散がデータから推定される状況でも、誤り率の制御が良好に維持される。
• 最悪ケースの指数的複雑性があるものの、実データでは最悪ケースがほとんど発生しないため、本手法は実用上計算的に実行可能である。
• 交差検証に基づくチューニングパラメータ選択への拡張は効果的であり、パラメトリックプログラミングフレームワークに自然に統合できる。