[論文レビュー] More Powerful and General Selective Inference for Stepwise Feature Selection using the Homotopy Continuation Approach

Kazuya Sugiyama, Vo Nguyen Le Duy+1 more|arXiv (Cornell University)|Dec 25, 2020

Statistical Methods and Inference参考文献 44被引用数 4

ひとこと要約

本稿では、従来のポリトープベースのアプローチにおける選択事象への過剰な条件付けによるパワー損失を克服する、ホモトピー続行法に基づく段階的特徴選択の選択的推論手法を提案する。データ空間における連続的パスフォローによって選択事象を追跡することで、AICに基づく停止基準を備えた前向き後向きSFSのような複雑なアルゴリズムに対しても、より強力で一般的な推論が可能となり、アルゴリズムの複雑さが増しても高い統計的パワーを維持する。

ABSTRACT

Conditional selective inference (SI) has been actively studied as a new statistical inference framework for data-driven hypotheses. The basic idea of conditional SI is to make inferences conditional on the selection event characterized by a set of linear and/or quadratic inequalities. Conditional SI has been mainly studied in the context of feature selection such as stepwise feature selection (SFS). The main limitation of the existing conditional SI methods is the loss of power due to over-conditioning, which is required for computational tractability. In this study, we develop a more powerful and general conditional SI method for SFS using the homotopy method which enables us to overcome this limitation. The homotopy-based SI is especially effective for more complicated feature selection algorithms. As an example, we develop a conditional SI method for forward-backward SFS with AIC-based stopping criteria and show that it is not adversely affected by the increased complexity of the algorithm. We conduct several experiments to demonstrate the effectiveness and efficiency of the proposed method.

研究の動機と目的

• 選択事象への過剰な条件付けによる既存の条件付き選択的推論手法のパワー損失を是正すること。
• 前向き後向きSFSにAICベースの停止基準を備えたような複雑な特徴選択アルゴリズムに適用可能な、より一般的で強力な推論フレームワークを開発すること。
• ホモトピー続行法を活用してデータ摂動に伴う選択事象を追跡することで、計算的に実行可能な推論を可能にすること。
• 提案手法が、選択の複雑さが増しても高い統計的パワーを維持することを示すこと。

提案手法

• 応答ベクトルが標本空間内で線形軌道に従って変化するのを追跡するホモトピー続行法を用い、選択された特徴のパスを追跡する。
• 同じ特徴選択結果が保持される標本空間内の切断領域を特定し、選択された特徴に対する条件付き推論を可能にする。
• 選択事象を単一のポリトープではなく、連続的パス追跡によって特徴づけ、符号や選択履歴への過剰な条件付けを回避する。
• AICベースの停止基準を備えた前向き後向きSFSにこの手法を適用し、アルゴリズムの複雑さにもかかわらず有効であることを示す。
• 交差検証設定において、検定統計量の条件付き標本分布を、同じ仮説が選択される領域にデータ空間を制限することで導出する。バリデーション誤差には区分的2次関数を用いる。
• 最終的な選択事象のみに条件づける最小条件付けアプローチを採用し、中間モデルや符号に関する追加制約を避ける。

実験結果

リサーチクエスチョン

• RQ1 過剰な条件付けを軽減することで、段階的特徴選択の選択的推論をパワー向上させることは可能か？
• RQ2 ホモトピー続行法は、AICベースの停止基準を備えた前向き後向きSFSのような複雑な特徴選択アルゴリズムにおける選択事象を効果的に特徴づけられるか？
• RQ3 選択プロセスに複数の段階や基準が含まれる場合でも、提案手法が高い統計的パワーを維持できるか？
• RQ4 アルゴリズムの複雑さが増す状況下で、提案手法はポリトープベースのアプローチと比較してパワーと計算可能性の面で優れているか？

主な発見

• ホモトピーに基づく選択的推論手法は、過剰な条件付けを最小限に抑えることで、ポリトープベースの手法よりも高い統計的パワーを達成する。
• 本手法は、AICベースの停止基準を備えた前向き後向きSFSのような複雑な特徴選択アルゴリズムを効果的に処理でき、複雑さの増加に対してもパワーを損なわない。
• 実験では、交差検証における候補モデル数が増えると、より制限的な条件付けが生じるため、真正陽性率（TPR）が低下することが示された。これは信頼区間長の増加と整合的である。
• 条件付き標本分布の切断領域は、選択されたモデルが最適のまま保たれる区間の共通部分として導出され、データ摂動パラメータの区分的2次関数を用いて表現される。
• 最終的な選択結果のみに条件づけることで、中間モデルに対する不要な制約を回避し、交差検証設定において計算的実行可能性と統計的妥当性を両立する。