[論文レビュー] Cluster Stability Selection

Gregory Faletto, Jacob Bien|arXiv (Cornell University)|Jan 3, 2022

Statistical Methods and Inference被引用数 13

ひとこと要約

本稿では、潜在変数のプロキシをグループ化してクラスタを形成することで、相関の高い特徴量を有する高次元データにおける特徴選択の安定性を向上させるクラスタ安定選択を提案する。クラスタレベルの選択頻度を活用し、安定したクラスタ内の特徴量を重み付き平均化することで、標準の安定選択よりも優れた予測性能と安定性を達成する。特に、相関の高いプロキシが存在する状況で顕著である。

ABSTRACT

Stability selection (Meinshausen and Buhlmann, 2010) makes any feature selection method more stable by returning only those features that are consistently selected across many subsamples. We prove (in what is, to our knowledge, the first result of its kind) that for data containing highly correlated proxies for an important latent variable, the lasso typically selects one proxy, yet stability selection with the lasso can fail to select any proxy, leading to worse predictive performance than the lasso alone. We introduce cluster stability selection, which exploits the practitioner's knowledge that highly correlated clusters exist in the data, resulting in better feature rankings than stability selection in this setting. We consider several feature-combination approaches, including taking a weighted average of the features in each important cluster where weights are determined by the frequency with which cluster members are selected, which we show leads to better predictive models than previous proposals. We present generalizations of theoretical guarantees from Meinshausen and Buhlmann (2010) and Shah and Samworth (2012) to show that cluster stability selection retains the same guarantees. In summary, cluster stability selection enjoys the best of both worlds, yielding a sparse selected set that is both stable and has good predictive performance.

研究の動機と目的

• 特徴量が潜在変数の高相関プロキシである高次元データにおいて、特徴選択の不安定性を解決すること。
• 標準の安定選択が、それらのプロキシが予測価値を持つにもかかわらず、そのいずれのプロキシも選択しないという失敗を特定すること。
• データに既知のクラスタ構造が存在する場合に、それを活用して特徴選択の安定性と予測性能を向上させる手法を提案すること。
• 既存の安定選択の結果をクラスタリングされた設定に拡張する理論的保証を開発すること。
• 頻度重み付き平均化によるクラスタ内特徴量の組み合わせが、先行手法に比べてより優れた予測モデルをもたらすことを示すこと。

提案手法

• 事前知識または実証的相関に基づいて特徴量をクラスタにグループ化し、それらが共通の潜在変数のプロキシを表していると仮定する。
• 各クラスタ内で安定選択を適用し、個々の特徴量の選択頻度を計算する。
• サブサンプル全体にわたる選択頻度に比例する重みを用いて、各クラスタ内の特徴量の重み付き平均を形成する。
• 得られたクラスタ結合特徴量を後続の予測モデルに使用することで、汎化性能を向上させる。
• 理論的分析により、MeinshausenとBü hlmann（2010）およびShahとSamworth（2012）の安定選択の保証をクラスタリングされた設定に拡張する。
• クラスタ安定選択が、ややいなごろしの正則性条件の下で、誤発見率と予測リスクの両方を制御することを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ複数の高相関プロキシが存在する状況で、標準の安定選択は潜在変数のプロキシ特徴量を1つも選択しないのか？
• RQ2 相関する特徴量をクラスタリングすることで、高次元設定における特徴選択の安定性と予測性能を向上させられるか？
• RQ3 安定したクラスタ内での特徴量の組み合わせが、個々の特徴量の選択よりもモデル性能をどのように向上させるのか？
• RQ4 誤発見率の制御と予測の一貫性を保証する理論的保証を、クラスタ安定選択にどのように拡張できるか？
• RQ5 クラスタメンバーの頻度重み付き平均化が、代替の集約戦略よりも優れた予測モデルをもたらすか？

主な発見

• lassoを用いた標準の安定選択では、複数の高相関プロキシが存在する状況でも、潜在変数のプロキシとしての特徴量を1つも選択しない。
• クラスタ安定選択は、関連するプロキシ特徴量を的確に同定・統合し、lassoや標準の安定選択よりも優れた予測性能を達成する。
• クラスタメンバーの頻度重み付き平均化は、個々の特徴量選択や単純平均化よりも低い予測リスクを実現する。
• MeinshausenとBü hlmann（2010）およびShahとSamworth（2012）の理論的保証が、クラスタ安定選択フレームワークに一般化される。
• シミュレーションでは、特に相関プロキシが存在する設定において、クラスタ安定選択は安定選択よりも平均二乗誤差が低くなる。
• 高次元で相関のあるデータ設定において、誤発見率を制御しながらも、予測精度を向上させる。