[論文レビュー] FuSSO: Functional Shrinkage and Selection Operator

Junier B. Oliva, Barnabás Póczos+5 more|arXiv (Cornell University)|Nov 10, 2013

Statistical Methods and Inference参考文献 13被引用数 5

ひとこと要約

FuSSO は、実数応答を予測するために関連する関数のサブセットを選択する、半パラメトリックな関数的 LASSO に類似した推定器である。高次元かつノイズの多い関数的データにおいて、Group-LASSO より優れた性能を示し、漸近的なスパarsity 一致性を達成する。

ABSTRACT

We present the FuSSO, a functional analogue to the LASSO, that efficiently finds a sparse set of functional input covariates to regress a real-valued response against. The FuSSO does so in a semi-parametric fashion, making no parametric assumptions about the nature of input functional covariates and assuming a linear form to the mapping of functional covariates to the response. We provide a statistical backing for use of the FuSSO via proof of asymptotic sparsistency under various conditions. Furthermore, we observe good results on both synthetic and real-world data.

研究の動機と目的

• 複数の関数的予測変数が利用可能な状況において、特に予測変数の数が標本数を上回る場合に、スパース関数的回帰のための手法を開発すること。
• 実数応答を予測するのに関連する少数の関数的予測変数のサブセットを特定することで、特徴選択を可能にすること。
• 関数的予測変数についてのパラメトリックな仮定を一切行わない、理論的に裏付けられた半パラメトリックな推定器を提供すること。
• 複数の入力関数を伴う関数的設定に LASSO に類するスパarsity を拡張し、既存の関数的回帰手法におけるギャップを埋めること。

提案手法

• FuSSO は、応答が入力関数と未知の基底関数との内積の線形結合として表される関数的回帰モデルを定式化する：Y = ∑⟨fj, gj⟩。
• 関数的係数全体にわたるグループ L1 ペナルティを適用することで、全関数にわたるスパarsity を誘導し、関係のない関数的予測変数を効果的にゼロに抑える。
• 関数的予測変数をコサイン基底展開で表現し、凸最適化により係数を推定する。
• 正則化パスを用いてペナルティパラメータ λ をチューニングし、最適なスパarsity 水準を特定する。
• 理論的分析により、ややきつい正則性条件のもとで漸近的なスパarsity 一致性が証明され、標本サイズが増加するにつれて正しくサポートを回復できることを保証する。
• 計算効率を高めるために、1次最適化スキームを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 関数的 LASSO に類する手法は、複数の入力関数を伴う高次元関数的回帰において、スパarsity を達成できるか？
• RQ2 関数的データがノイズが多く、または不規則にサンプリングされた場合、FuSSO は Group-LASSO よりも優れた性能を示すか？
• RQ3 関数的予測変数の数が標本数よりもはるかに多い状況でも、FuSSO は真の関連予測変数のサポートを効果的に回復できるか？
• RQ4 神経画像年齢予測タスクにおいて、FuSSO は要約統計量ベースの手法（例：QA 値の使用）を上回る性能を示すか？
• RQ5 特にグリッド点が不規則な場合に、FuSSO はノイズおよび滑らかさの変動に対して頑健であるか？

主な発見

• p=1000, N=500, n=25 の条件下で、∆ 値が 0.4771 のもと、1000/1000 の試行で完全なサポート回復（100% の正確性）を達成した。
• ノイジエアな設定（関数の σ_noise=5、応答の σ_response=1）において、FuSSO は 49% の試行で正しいサポートを回復した。これは Y-GL の 32% の回復率を上回った。
• FuSSO の ∆(t)λ 値は 0.0743 であり、Y-GL の 0.0254 よりも低く、ノイズに対する安定性と頑健性が優れていることを示している。
• 約 25,000 個の dODF 関数を含む実際の神経的データにおいて、FuSSO は交差検証済み MSE を 70.855 に達成し、QA 値に対する LASSO（MSE=77.1302）を上回った。
• 正則化パスは、選択された関数と選択されない関数の係数の間に明確な分離を示しており、右端の垂直線は依然として真のサポートを回復できる最大の λ を示している。
• サポート内の選択されたボクセルの可視化により、知られている加齢に伴う変化と整合する白質領域が生物学的に妥当な領域として確認された。