[論文レビュー] Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso

Quentin Bertrand, Mathurin Massias+2 more|arXiv (Cornell University)|Feb 7, 2019

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、相関のある非i.i.d.ノイズ下での高次元マルチタスク回帰において、繰り返し測定をすべて活用することでサポート同定を向上させる凸最適化手法である繰り返しを伴うラッソ（CLaR）を提案する。ノイズ共標準偏差行列の核ノルム近似による多変量平方根ラッソの平滑化を通じて、CLaRは回帰係数とノイズ共標準偏差を同時に推定する。神経画像法の応用において、特にサンプルサイズが小さい場合に、既存の推定器を上回る性能を発揮する。

ABSTRACT

Sparsity promoting norms are frequently used in high dimensional regression. A limitation of such Lasso-type estimators is that the optimal regularization parameter depends on the unknown noise level. Estimators such as the concomitant Lasso address this dependence by jointly estimating the noise level and the regression coefficients. Additionally, in many applications, the data is obtained by averaging multiple measurements: this reduces the noise variance, but it dramatically reduces sample sizes and prevents refined noise modeling. In this work, we propose a concomitant estimator that can cope with complex noise structure by using non-averaged measurements. The resulting optimization problem is convex and amenable, thanks to smoothing theory, to state-of-the-art optimization techniques that leverage the sparsity of the solutions. Practical benefits are demonstrated on toy datasets, realistic simulated data and real neuroimaging data.

研究の動機と目的

• 標準ラッソ推定器がノイズレベルを事前に知っている必要があるという制限を解決すること、特に相関のあるまたは繰り返し測定がある高次元設定において。
• M/EEGデータにおける繰り返し測定の平均化が統計的に非効率である問題を克服すること。これは、貴重な情報を損なうとともに、ノイズモデリングを歪める。
• 複雑なノイズ構造下で、回帰係数とノイズ共標準偏差を同時に推定できる凸かつ効率的に解ける推定器の開発。
• 平均化を伴わずに、利用可能なすべての繰り返しを活用することで、神経画像法の源局在化における頑健なサポート同定を実現すること。
• 非i.i.d.ノイズを伴う高次元マルチタスク回帰に対してスケーラブルでオープンソースのソリューションを提供し、実データおよびシミュレーテッドデータで検証すること。

提案手法

• CLaRを、平滑化された多変量平方根ラッソの定式化を通じて、回帰係数とノイズ共標準偏差行列を同時に最適化する共通推定器として提案する。
• 核ノルムにモアレ・ヨシダ平滑化を適用することで、非滑らかで非凸的とみられる問題を滑らかで凸な最適化問題に変換し、近接ブロック座標降下法を用いて解けるようにする。
• 多変量平方根ラッソの部分的平滑化を採用することで、凸性を維持しつつ、近接作用素を用いた効率的な計算を可能にする。
• 目的関数を、ノイズ共標準偏差の平滑化された核ノルムに基づくデータ適合性と、係数に対するℓ1ペナルティによるスパarsityをバランスさせる最小化問題として定式化する。
• 双対ギャップに基づく安全な停止基準を実装し、理論的保証のもとで収束を保証するとともに、ヒューリスティックな停止ルールと性能を比較する。
• スパース解に特化した最先端の最適化技術を活用し、大規模な神経画像データセット（例：n=102, p=7498, q=76）へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 平均化されたデータではなく、すべての繰り返し測定を活用する共通推定器は、高次元マルチタスク回帰におけるサポート同定性を向上させることができるか？
• RQ2 核ノルム近似による多変量平方根ラッソの平滑化は、相関のあるノイズ下で推定精度と計算効率にどのような影響を与えるか？
• RQ3 繰り返しが限られている状況においても、CLaRはSGCL、マルチタスクラッソ、ℓ2,1-MLEといった既存の推定器を上回り、M/EEGデータにおける真の脳源の同定に成功するか？
• RQ4 凸的で滑らかな最適化フレームワークは、神経画像法データの複雑なノイズ構造を扱いながらも、理論的収束保証を維持できるか？
• RQ5 ノイズ分散が高く非定常な状況下で、すべての繰り返しを活用することで、源局在化の頑健性にどのような影響が生じるか？

主な発見

• 56回の繰り返しを伴う実M/EEGデータでは、CLaRは100%の試行で両側の聴覚皮質源を正しく同定した。一方、ℓ2,1-MLERとMTLのみが一部のケースで成功した。
• 繰り返しを33回に減らした場合、CLaRは依然として頑健で、両側の聴覚皮質にそれぞれ1つの源を正しく局在化した。他のすべての推定器は正しい源を同定できなかった。
• 71回の繰り返しを伴う左視覚刺激タスクでは、CLaRとℓ2,1-MLERが右側頭部半球の源を正しく局在化したが、他の手法は失敗した。
• 右視覚刺激で31回の繰り返しのみの場合、CLaRが唯一、左側頭部半球の源を正しく同定した。これは、サンプルサイズが小さい状況下での優れた頑健性を示している。
• CLaRは、ヒューリスティックな停止基準を上回る10秒未満で安全な収束を達成した。一方、SGCLは同じ双対ギャップ許容誤差に達するまで10分以上を要した。
• シミュレーテッドデータにおいて、CLaRはSGCLおよび他のベースライン推定器と比較して、サポート回復性能が向上し、誤発見率も低かった。特にノイズが多く相関のある状況下で顕著であった。