[論文レビュー] Group Lasso with Overlaps: the Latent Group Lasso approach

Guillaume Obozinski, Laurent Jacob+1 more|arXiv (Cornell University)|Oct 3, 2011

Statistical Methods and Inference参考文献 47被引用数 129

ひとこと要約

本稿では、パラメーターベクトルを事前に定義された重複するグループにサポートを持つ潜在変数の線形結合としてモデル化することにより、構造的スパarsityを実現する新しいグループリッジ法、潜在的グループリッジ法を提案する。この手法により、推定モデルのサポートがこれらのグループの和集合となることが保証され、高次元データにおけるグループサポート回復の理論的保証と解釈可能性の向上が得られる。実際の遺伝子発現データ（ネットワーク構造を持つグループ）を用いた実験でもその有効性が示された。

ABSTRACT

We study a norm for structured sparsity which leads to sparse linear predictors whose supports are unions of prede ned overlapping groups of variables. We call the obtained formulation latent group Lasso, since it is based on applying the usual group Lasso penalty on a set of latent variables. A detailed analysis of the norm and its properties is presented and we characterize conditions under which the set of groups associated with latent variables are correctly identi ed. We motivate and discuss the delicate choice of weights associated to each group, and illustrate this approach on simulated data and on the problem of breast cancer prognosis from gene expression data.

研究の動機と目的

• 標準のグループリッジ法が重複するグループを適切に扱えないという制限を克服するため、新しい正則化フレームワークを導入すること。
• 事前に定義された重複するグループの和集合であるサポートを持つスパース線形モデルを可能とし、構造的データにおける解釈可能性を向上させること。
• 潜在的グループリッジ法のペナルティにおいて、一貫したグループサポート回復を保証する理論的条件を提供すること。
• グループ重みが回復可能なサポートの集合とモデルクラスの複雑さに与える影響の中心的役割を解明すること。
• シミュレーテッドデータおよび実世界のがん予後予測の遺伝子発現データを用いて、本手法の実証的妥当性を検証すること。

提案手法

• 潜在的グループリッジ法は、事前に定義された各グループに対応する潜在変数の集合に標準のグループリッジ法ペナルティを適用する。
• 最終的なパラメーターベクトルは、これらの潜在変数の線形結合として再構成され、グループの和集合であるスパースパターンが強制される。
• 本手法は「グループサポート」という概念を導入し、最終モデルにおける非ゼロの潜在変数の集合を定義する。これは、最終モデルにおけるグループの和集合に対応する。
• ペナルティノルムは、潜在変数のℓ₂ノルムの和として定義され、グループ固有の重みが和集合サポートの選択に影響を与える。
• 理論的分析により、設計行列とグループ重みに依存する一貫したグループサポート回復の十分および必要条件が導出される。
• 回帰問題に本手法を適用し、シミュレーテッドデータおよび生物学的相互作用ネットワークをグループとして用いた乳がん遺伝子発現データセットを用いた実験的評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 グループリッジ法の定式化を、スパースパターンがグループの交差ではなく和集合であるような重複するグループを扱えるように拡張できるか？
• RQ2 潜在的グループリッジ法フレームワークにおいて、真のグループサポート（活性化されたグループの和集合）の一貫した回復を保証する条件は何か？
• RQ3 グループ重みが回復可能なサポートの集合とモデルクラスの複雑さにどのように影響を与えるか？
• RQ4 高次元で構造的データにおいて、標準のℓ₁およびグループリッジ法と比較して、潜在的グループリッジ法は予測性能と解釈可能性を向上させるか？
• RQ5 事前知識を重複するグループとしてエンコードした場合、遺伝子発現データにおいて本手法は生物学的に整合性のある遺伝子群を信頼性高く同定できるか？

主な発見

• 潜在的グループリッジ法は、乳がん予後予測データセットにおいて、標準のℓ₁正則化とほぼ同等の予測精度を達成し、fold間で約0.36のバランス分類誤差を示した。
• 予測性能は類似しているものの、潜在的グループリッジ法は選択された遺伝子がより大きな、つながりの強いコンポーネントを形成しており、最大連結成分の平均が8.6〜10.2に達する一方、ℓ₁では1.8〜2.2にとどまる。これは生物学的整合性の向上を示している。
• シミュレーテッドデータにおいて、本手法はグループの和集合を正常に回復した。また、グループサポート回復の理論的条件が導出され、実証的に検証された。
• グループ重みの選択が極めて重要である。誤った重みを設定すると、グループ構造が分かっていても真のグループ構造の回復が不可能になる場合がある。
• 実データにおいて、潜在的グループリッジ法は、予測精度を損なわずに機能的ネットワークにおける遺伝子クラスタを優先して選択する、より解釈可能なモデルを生成した。
• 特徴量の選択における接続性がℓ₁を上回ったことから、システム生物学の応用において生物学的に意味のあるサブセットを同定する可能性が向上していると示唆される。