[論文レビュー] Generalized Concomitant Multi-Task Lasso for sparse multimodal regression

Mathurin Massias, Olivier Fercoq+2 more|arXiv (Cornell University)|May 27, 2017

Sparse and Compressive Sensing Techniques参考文献 4被引用数 12

ひとこと要約

本稿では、M/EEG信号などの複数のデータモダリティにおいて、スムージングされた一般化共通因子マルチタスクLasso（SBHCL）を提案する。この手法は、共通因子Lassoの定式化をマルチタスク学習と組み合わせることで、スパースな回帰係数と異方性ノイズレベルを同時に学習する共同凸推定器である。標準Lassoと同等の計算効率を達成しながら、正則化パrameterのチューニングに依存せずにノイズレベル推定が可能であり、マルチモodal神経画像データにおいて予測性能、サポート回復、ノイズ共分散推定の向上を実現する。

ABSTRACT

In high dimension, it is customary to consider Lasso-type estimators to enforce sparsity. For standard Lasso theory to hold, the regularization parameter should be proportional to the noise level, yet the latter is generally unknown in practice. A possible remedy is to consider estimators, such as the Concomitant/Scaled Lasso, which jointly optimize over the regression coefficients as well as over the noise level, making the choice of the regularization independent of the noise level. However, when data from different sources are pooled to increase sample size, or when dealing with multimodal datasets, noise levels typically differ and new dedicated estimators are needed. In this work we provide new statistical and computational solutions to deal with such heteroscedastic regression models, with an emphasis on functional brain imaging with combined magneto- and electroencephalographic (M/EEG) signals. Adopting the formulation of Concomitant Lasso-type estimators, we propose a jointly convex formulation to estimate both the regression coefficients and the (square root of the) noise covariance. When our framework is instantiated to de-correlated noise, it leads to an efficient algorithm whose computational cost is not higher than for the Lasso and Concomitant Lasso, while addressing more complex noise structures. Numerical experiments demonstrate that our estimator yields improved prediction and support identification while correctly estimating the noise (square root) covariance. Results on multimodal neuroimaging problems with M/EEG data are also reported.

研究の動機と目的

• 高次元マルチモーダル回帰における異方性ノイズの課題に取り組むこと、特にM/EEGのような神経画像法において、異なるセンサー（例：MEG、EEG）が異なるノイズレベルを持つこと。
• ノイズ分散の事前知識が不要な、回帰係数とノイズレベルを同時に推定するスパース回帰推定器を開発すること。
• 凸性と双対ギャップの認証により、グローバル最適性の保証を維持しながら、標準Lassoと同等の計算効率を確保すること。
• M/EEGの統合記録のような実世界のマルチモーダルデータセットにおいて、モダリティ固有のノイズスケールを学習することで、サポート同定と予測性能の向上を図ること。

提案手法

• モダリティ固有のノイズ分散を伴うマルチタスク設定に拡張した共通因子Lassoの定式化を、共同凸最適化フレームワークとして提案する。
• 滑らかな一般化共通因子定式化を用いて、1つの凸問題として回帰係数とノイズ共分散行列の平方根を同時に推定する。
• ブロック座標降下法（BCD）に安全なスクリーニングルールと強力ルールを組み合わせ、Lassoと同等の計算コストを達成する。
• 各モダリティ（例：勾配計、磁気計、EEG電極）が固有のノイズレベルを持つマルチタスク構造を組み込み、不均一なノイズの柔軟なモデリングを可能にする。
• 回帰係数とノイズパラメータのための効率的更新ルールを導出することで、双対ギャップの認証を伴う収束を保証する。
• センサータイプを個別タスクとしてモデル化することで、M/EEGの逆問題に適用し、高SNRと低SNRモダリティの適切なバランスを学習することで、耐性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパース回帰推定器を、異なるノイズレベルを持つ複数のデータモダリティを処理できる共同凸形式で設計可能か？ また、Lassoと同等の計算効率を維持できるか？
• RQ2 ノイズレベルと回帰係数を同時に推定することで、高次元マルチモーダルデータにおいてサポート回復と予測精度がどの程度向上するか？
• RQ3 本手法は、ノイズレベルがセンサータイプごとに異なる実M/EEGデータにおいて、モダリティ固有のノイズ標準偏差をどれほど正確に推定できるか？
• RQ4 ノイズレベルがセンサータイプごとに不均一な実神経画像データに適用した場合、本手法は耐性があり、効率的であるか？
• RQ5 異方性環境下でも、ノイズレベルとは独立して正則化パrameter λ をチューニング可能か？ これにより、異なる実験条件間でのハイパーパrameter選択が簡素化されるか？

主な発見

• シミュレーションデータ（真値が既知）において、同方性LassoおよびマルチタスクLassoと比較して、SBHCL推定器は優れたサポート回復と予測性能を達成した。
• 実M/EEGデータにおいて、モダリティ固有のノイズ標準偏差が、期待通りに試行回数の増加に伴い減少する（∝1/√t）傾向を示し、一貫性のある推定を確認した。
• SBHCLによるノイズレベル推定値は、大きさ的に妥当であり、期待されるスケーリング特性を示しており、不均一なノイズ構造の正確な学習を裏付けた。
• BCDソルバと安全なスクリーニングルールのおかげで、SBHCLの計算コストは標準Lassoと同等のままであり、効率的であることが確認された。
• 実M/EEGデータにおいて、SBHCLは高SNRと低SNRモダリティの適切なバランスを学習し、一貫性があり生物学的に妥当な源局在化結果を生成した。
• 正則化パrameter λ は、モダリティ間のノイズレベルの変動に対してあまり敏感ではなく、異なる実験条件やデータセット間でのチューニングが容易になった。