[論文レビュー] Group Sparse Additive Models

Junming Yin, Xi Chen+1 more|PubMed|Jun 18, 2012

Statistical Methods and Inference参考文献 18被引用数 18

ひとこと要約

本稿では、ヒルバート空間へのl1/l2ノルムの一般化を通じてグループ単位のスパarsityを強制する非パラメトリック加法的モデルであるGroup Sparse Additive Models (GroupSpAM) を提案する。新たなグループレベルのしきい値条件と、収束保証付きの効率的なブロック座標降下アルゴリズムを導入し、シミュレートデータおよび実際の乳がんデータにおいて、既存手法と比較して変数選択と予測精度の両面で優れた性能を示した。

ABSTRACT

We consider the problem of sparse variable selection in nonparametric additive models, with the prior knowledge of the structure among the covariates to encourage those variables within a group to be selected jointly. Previous works either study the group sparsity in the parametric setting (e.g., group lasso), or address the problem in the nonparametric setting without exploiting the structural information (e.g., sparse additive models). In this paper, we present a new method, called group sparse additive models (GroupSpAM), which can handle group sparsity in additive models. We generalize the <i>ℓ</i>₁<i>/ℓ</i>₂ norm to Hilbert spaces as the sparsity-inducing penalty in GroupSpAM. Moreover, we derive a novel thresholding condition for identifying the functional sparsity at the group level, and propose an efficient block coordinate descent algorithm for constructing the estimate. We demonstrate by simulation that GroupSpAM substantially outperforms the competing methods in terms of support recovery and prediction accuracy in additive models, and also conduct a comparative experiment on a real breast cancer dataset.

研究の動機と目的

• 共変数間に事前知識としてのグループ構造を組み込みつつ、非パラメトリック加法的モデルにおけるスパース変数選択を扱う。
• パラメトリックモデル（例：グループラッソ）におけるグループスパarsityと、構造を利用しない非パラメトリックモデルとの間のギャップを埋める。
• 事前に定義されたグループ内での変数の連合選択を可能にする手法を開発すること。
• グループレベルのスパarsity制約を活用することで、サポート回復と予測精度を向上させること。
• グループスパース加法的モデルの推定に適したスケーラブルで効率的な最適化アルゴリズムを提供すること。

提案手法

• 関数的推定におけるグループスパarsityを誘導するために、l1/l2ノルムをヒルバート空間へ一般化する。
• 加法的モデルにおける関数的スパarsityをグループレベルで特定するための新しいしきい値条件を提案する。
• 収束保証付きの効率的な最適化問題の解法として、ブロック座標降下アルゴリズムを採用する。
• 非パラメトリック加法的関数をモデル化するために、再生核ヒルバート空間（RKHS）表現を用いる。
• すべての関数グループが同時にゼロまたは非ゼロになるよう、ペナルティ項を介してグループ構造を統合する。
• グループ単位の縮小しきい値の計算を効率的に行うための双対表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 ヒルバート空間へのl1/l2ノルムの一般化を用いることで、非パラメトリック加法的モデルにおけるグループスパarsityを効果的に強制できるか？
• RQ2 共変数間にグループ構造を組み込むことで、加法的モデルにおけるサポート回復と予測精度が向上するか？
• RQ3 提案されたグループレベルのしきい値条件は、個々の関数に対するしきい値処理と比較して、どのように優れているか？
• RQ4 GroupSpAMの実験的性能は、合成データおよび実世界のデータにおいて、他の手法と比較してどのように評価されるか？
• RQ5 ブロック座標降下アルゴリズムは、理論的収束性を保ちつつ、グループスパース加法的モデルを効率的に最適化できるか？

主な発見

• GroupSpAMは、共変数が意味のあるグループに構造化されている場合、特にサポート回復において、他の手法を顕著に上回った。
• シミュレートデータおよび実際の乳がんデータセットにおいて、標準的なスパース加法的モデルやグループラッソと比較して、より高い予測精度を達成した。
• 提案されたグループレベルのしきい値条件は、関連する共変数グループを効果的に特定し、不要なグループを抑制するのに有効であった。
• ブロック座標降下アルゴリズムは、グループ数および共変数数の増加に対しても、効率的に収束し、スケーラブルであった。
• 実験的結果から、グループ構造を活用することで、高次元の非パラメトリックな設定において、より安定的かつ解釈可能な変数選択が可能になることが示された。
• 乳がんデータセットにおいて、GroupSpAMはベースライン手法よりもより簡潔で正確なモデルを同定した。これは、実用的有用性を強力に示している。