[論文レビュー] Correlated Feature Selection with Extended Exclusive Group Lasso

Yuxin Sun, Benny Chain+2 more|arXiv (Cornell University)|Feb 27, 2020

Statistical Methods and Inference参考文献 24被引用数 5

ひとこと要約

本稿では、ランダムなグループ割り当て、安定性選択、人工特徴を組み合わせた拡張排他的グループlasso（EGL）手法を提案し、相関の高い生物学的データにおける特徴選択の性能を向上させる。Lassoに比べて、特に相関のある設定においてより多くの情報をもつ特徴を特定でき、合成データおよび実世界の免疫学的データセットの両方で高いFスコアと頑健な選択性能を達成した。

ABSTRACT

In many high dimensional classification or regression problems set in a biological context, the complete identification of the set of informative features is often as important as predictive accuracy, since this can provide mechanistic insight and conceptual understanding. Lasso and related algorithms have been widely used since their sparse solutions naturally identify a set of informative features. However, Lasso performs erratically when features are correlated. This limits the use of such algorithms in biological problems, where features such as genes often work together in pathways, leading to sets of highly correlated features. In this paper, we examine the performance of a Lasso derivative, the exclusive group Lasso, in this setting. We propose fast algorithms to solve the exclusive group Lasso, and introduce a solution to the case when the underlying group structure is unknown. The solution combines stability selection with random group allocation and introduction of artificial features. Experiments with both synthetic and real-world data highlight the advantages of this proposed methodology over Lasso in comprehensive selection of informative features.

研究の動機と目的

• 特徴が強く相関している場合にLassoがすべての情報をもつ特徴を正しく選択できないという限界を解決すること。これは生物学的オミクスデータに一般的な問題である。
• 生物学的経路や遺伝子ネットワークに見られるように、特徴の相関構造が事前に不明な場合の課題に対処すること。
• グループ内スパarsityを実現しつつグループ間の柔軟性を保つことのできる、排他的グループlassoのスケーラブルで効率的なアルゴリズムの開発。
• ランダムなグループ割り当てと安定性選択、人工特徴を組み合わせることで、高次元設定における特徴選択の安定性と正確性を向上させること。
• 本手法の有効性を合成データおよび実世界のT細胞受容体（TCR）配列データを用いたCMV状態予測において実証すること。

提案手法

• グループ内でのスパarsityを強制しつつ、異なるグループから複数の特徴を選択を可能にするために、ℓ1,2-ノルム正則化を用いて排他的グループlasso（EGL）の定式化を拡張する。
• EGL最適化問題を効率的に解くための、アクティブセット戦略を用いた高速座標降下アルゴリズムを開発する。
• 事前知識が不足する場合に備えて、特徴をランダムなグループに割り当てることで、未知のグループ構造に対処するランダムグループ割り当てを導入する。
• 複数のランダムなグループ割り当てを用いた安定性選択を適用し、選択の安定性を高め、誤検出を低減する。
• 特徴重要度推定のベースラインを提供することで、真に有益な特徴の検出を向上させるために人工特徴を統合する。
• ランダムグループ化、安定性選択、人工特徴を統合した統一フレームワーク「EGL-R(SA)」を構築し、不確実性下での頑健な特徴選択を実現する。

実験結果

リサーチクエスチョン

• RQ1 強い特徴相関がある状況下で、排他的グループlassoはLassoが失敗する場合でも、すべての情報をもつ特徴を効果的に特定できるか？
• RQ2 真のグループ構造が不明な状況において、ランダムグループ割り当てと安定性選択を組み合わせることで、特徴選択性能がどのように向上するか？
• RQ3 人工特徴の導入が、高次元かつ相関の高いデータセットにおける関連特徴の検出をどの程度向上させるか？
• RQ4 提案手法であるEGL-R(SA)は、Lassoおよび標準的なグループlassoと比較して、特徴選択の正確性と安定性において優れているか？
• RQ5 本手法は、CMV特異的T細胞受容体のような実世界の免疫学的データセットにおいて、生物学的に意味のある特徴を信頼性を持って同定できるか？

主な発見

• 相関が高い合成例3（ρ=0.9）では、Lassoは情報を持つ特徴の61％しか選択しなかった（Fスコア0.79）。一方、EGL-R(SA)はFスコア1.00という完璧な性能を達成し、情報を持つ特徴の82％を正しく選択した。
• 相関が低い例4（ρ=0.25）では、Lassoは良好な性能（Fスコア0.99）を示したが、EGL-R(SA)も情報を持つ特徴の100％を正しく選択し、誤検出率が低かった。
• EGL-R(SA)は不要な特徴の選択確率を平均0.10にまで低下させ、EGL-R(S)の平均0.12と比較して特異性が向上した。
• 実世界のCMV TCRデータでは、EGL-R(SA)はCMV+サンプルに過剰に存在する47個のTCRのみを選択し、SVMを用いて88–89％の分類精度を達成した。これに対してℓ1-SVMは1950個の特徴を選択したが、精度はたった65％にとどまった。
• 独立した検証セット（コhort2および3）においても、本手法は高い安定性と再現性を示し、実世界の設定下での頑健な特徴選択を裏付けた。
• 人工特徴とランダムグループ化の導入により、不要な特徴の選択確率が圧縮され、情報を持つ特徴の選択確率が上昇したことが確認され、分離能の向上が裏付けられた。