[論文レビュー] Sparse Network Lasso for Local High-dimensional Regression.

Makoto Yamada, Koh Takeuchi+3 more|arXiv (Cornell University)|Mar 22, 2016

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、局所的lassoを提案する。これは、高次元の局所的回帰のための凸最適化フレームワークであり、サンプルごとのネットワーク正則化と排他的なグループスパarsity（ℓ₁,₂ノルム）を組み合わせることで、解釈可能で多様性があり、グローバルに最適な局所モデルを生成する。この手法は、調整パrameterを必要としない反復的最小二乗法を用い、シミュレーションデータおよびゲノムデータにおいて代替手法を上回る性能を発揮する。

ABSTRACT

We introduce the localized Lasso, which is suited for learning models that are both interpretable and have a high predictive power in problems with high dimensionality $d$ and small sample size $n$. More specifically, we consider a function defined by local sparse models, one at each data point. We introduce sample-wise network regularization to borrow strength across the models, and sample-wise exclusive group sparsity (a.k.a., $\ell_{1,2}$ norm) to introduce diversity into the choice of feature sets in the local models. The local models are interpretable in terms of similarity of their sparsity patterns. The cost function is convex, and thus has a globally optimal solution. Moreover, we propose a simple yet efficient iterative least-squares based optimization procedure for the localized Lasso, which does not need a tuning parameter, and is guaranteed to converge to a globally optimal solution. The solution is empirically shown to outperform alternatives for both simulated and genomic personalized medicine data.

研究の動機と目的

• グローバルモデルが局所的適応性を欠く高次元・小標本サイズの回帰問題に対処すること。
• 各データポイントにおける局所モデルのスパarsityパターンを類似させることで、モデルの解釈性を向上させること。
• サンプルごとのネットワーク正則化により局所モデル間で強みを共有することで、予測性能を向上させること。
• 排他的なグループスパarsity（ℓ₁,₂ノルム）を用いて、局所モデル間の特徴選択の多様性を強制すること。
• スケーラブルで信頼性のある局所モデル適合のためのグローバルに最適な、調整フリーな最適化手順を開発すること。

提案手法

• 各データポイントに局所モデルを定義し、共有された特徴選択パターンを持つスパース線形予測子を用いる。
• サンプルごとのネットワーク正則化により、近接するデータポイント間での特徴選択の類似性を促進し、ロバスト性を向上させる。
• 各サンプルごとに排他的なグループスパarsity（ℓ₁,₂ノルム）を適用し、モデル間での選択された特徴集合の多様性を促進する。
• 局所損失、ネットワーク正則化、グループスパarsityペナルティを組み合わせた凸コスト関数を定式化する。
• 調整パrameterを必要とせず、グローバルに最適な解に収束する反復的最小二乗法を提案する。
• 最適化手順は計算的に効率的であり、高次元設定にもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 構造的正則化を用いることで、高次元回帰における局所モデルを解釈可能かつ予測可能にできるか？
• RQ2 特徴選択の多様性を損なわせることなく、局所モデル間で情報を効果的に共有できるか？
• RQ3 サンプルごとのネットワーク正則化が予測精度とモデル安定性に与える影響は何か？
• RQ4 調整フリーな最適化手順は、局所スパース回帰においてグローバル最適性を達成できるか？
• RQ5 標準的なスパarsityと比較して、排他的なグループスパarsityは局所モデルの多様性と性能をどのように向上させるか？

主な発見

• 局所的lassoは、シミュレーションされた高次元データセットおよび実際のゲノム的個人化医療データにおいて、ベースライン手法を上回る優れた予測性能を達成した。
• 本手法は、スパarsityパターンが類似した解釈可能な局所モデルを生成し、各データポイントにおける特徴の重要性の意味的な解釈を可能にした。
• 反復的最小二乗法は、交差検証による調整パrameterの必要なしに、信頼性高くグローバルに最適な解に収束した。
• サンプルごとのネットワーク正則化は、局所的近傍構造を活用することで、モデルの安定性と予測精度を顕著に向上させた。
• 排他的なグループスパarsityは、局所モデル間で多様な特徴集合を促進することで過学習を効果的に防止し、一般化性能を向上させた。
• 実証的結果は、予測誤差と特徴選択の正確性の観点で、代替の局所的およびグローバルなスパース回帰手法を一貫して上回ることを示した。