[論文レビュー] Group Variable Selection via a Hierarchical Lasso and Its Oracle Property

Nengfeng Zhou, Ji Zhu|arXiv (Cornell University)|Jun 15, 2010

Gene expression and cancer classification参考文献 26被引用数 6

ひとこと要約

本稿では、グループ内変数選択を柔軟に可能にしつつもグループ単位のスパarsityを維持できる階層的lasso法を提案する。グループレベルと個別レベルのペナルティを組み合わせることで、オラクル性——漸近的に最適な推定と選択の一致を達成する——を実現する。

ABSTRACT

In many engineering and scientific applications, prediction variables are grouped, for example, in biological applications where assayed genes or proteins can be grouped by biological roles or biological pathways. Common statistical analysis methods such as ANOVA, factor analysis, and functional modeling with basis sets also exhibit natural variable groupings. Existing successful group variable selection methods such as Antoniadis and Fan (2001), Yuan and Lin (2006) and Zhao, Rocha and Yu (2009) have the limitation of selecting variables in an "all-in-all-out" fashion, i.e., when one variable in a group is selected, all other variables in the same group are also selected. In many real problems, however, we may want to keep the flexibility of selecting variables within a group, such as in gene-set selection. In this paper, we develop a new group variable selection method that not only removes unimportant groups effectively, but also keeps the flexibility of selecting variables within a group. We also show that the new method offers the potential for achieving the theoretical "oracle" property as in Fan and Li (2001) and Fan and Peng (2004).

研究の動機と目的

• 従来のグループ選択手法が、変数の有意性に基づきグループ全体を含めるか除外する『すべて含む・すべて除外』の選択方針を強いるという限界を解消すること。
• 遺伝子セット解析のような応用分野において、経路に属する遺伝子の一部のみが生物学的に関連する場合に、グループ内での選択的変数挿入を可能にすること。
• グループレベルと個別レベルのペナルティを組み合わせた正則化法を開発し、グループスパarsityとグループ内柔軟性の両方を達成すること。
• 提案手法が理論的『オラクル性』——漸近的に正しいモデルを同定し、最適な効率性で係数を推定する——を達成することを示すこと。

提案手法

• グループレベルでL2ノルムペナルティ、各グループ内での個別変数レベルでL1ノルムペナルティを適用する階層的lassoペナルティを提案する。
• 最適化問題を、負の対数尤度にペナルティ項を加えた形で定式化する：$ \sum_{k=1}^{K} \|\boldsymbol{\beta}_k\|_2 + \lambda \sum_{k=1}^{K} \sum_{j=1}^{p_k} |\beta_{kj}| $、ここで$ \|\boldsymbol{\beta}_k\|_2 $はグループレベルのペナルティである。
• 2段階推定手順を用いる：まずグループlassoによりグループ構造を推定し、次に選択されたグループ内での個別変数選択を精緻化する。
• 正則性条件の下で漸近的解析を実施し、真のモデルのスパarsityとL1およびグループL2ペナルティのゼロにおける特異性を活用してオラクル性を確立する。
• 活性変数の推定とグループ構造の分離を図るため、再パラメータライゼーション$ \boldsymbol{\beta}_{n,\mathcal{A}_n} = \boldsymbol{B}^T_n \boldsymbol{\gamma}_n $を用いる。
• 目的関数のヘッセ行列と勾配の解析を通じて、推定量の漸近正規性と一貫性を確立し、標本サイズが増加するにつれて真のモデルに高確率で収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 すべて含む・すべて除外の選択方針を強いるのではなく、グループ内での個別変数選択を柔軟に可能にするグループ変数選択法を設計できるか？
• RQ2 グループL2と個別L1ノルムを組み合わせた階層的ペナルティは、高次元設定においてオラクル性を達成する手法を生み出すか？
• RQ3 標準lassoやグループlassoと比較して、提案手法はモデル選択の正確性と推定効率性において優れているか？
• RQ4 階層的ペナルティ下での推定量の漸近的性質、特に変数選択の一貫性と推定バイアスについて、どのような性質を示すか？
• RQ5 標本サイズが増加する中で、予測変数の数が増加しても、この手法は正しいグループと変数構造を一貫して同定できるか？

主な発見

• 提案された階層的lasso法は、従来のグループlassoが強いるすべて含む・すべて除外の選択を回避し、グループ内での柔軟な変数選択を実現した。
• この手法はオラクル性を達成する：変数選択の一貫性と漸近正規性、最適な推定効率性を併せ持つ。
• 理論的解析により、標本サイズが増加するにつれて推定量が真のモデルに確率1に収束することが示された。
• 目的関数のヘッセ行列が確率的に有界であることが示され、推定されたパラメータと真のパラメータの差が$ O_p(\sqrt{q/n}) $のレートでゼロに収束することがわかった。ここで$ q $は活性変数の数である。
• 真に予測に寄与する変数がグループ内に一部のみ存在する設定では、標準lassoおよびグループlassoを上回る性能を示した。
• 理論的結果により、正則性条件（スパarsity、有界な固有値など）の下で、階層的ペナルティ構造がグループおよび個別変数選択の一貫性を実現可能であることが確認された。