[論文レビュー] Learning Heteroscedastic Models by Convex Programming under Group Sparsity

Arnak S. Dalalyan, Mohamed Hebiri+2 more|arXiv (Cornell University)|Apr 16, 2013

Statistical Methods and Inference参考文献 35被引用数 12

ひとこと要約

本稿では、高次元の不均等分散回帰における条件付き平均および分散の同時推定のための凸最適化手法として、スケーリングされた非定常分散Dantzig選択子（ScHeDs）を提案する。問題は2次錐計画（SOCP）として定式化され、ノイズ分散の事前知識が不要であり、均一分散性の仮定も不要な状況で、効率的な計算と非漸近的リスクバインディングを可能にする。

ABSTRACT

Popular sparse estimation methods based on $\ell_1$-relaxation, such as the Lasso and the Dantzig selector, require the knowledge of the variance of the noise in order to properly tune the regularization parameter. This constitutes a major obstacle in applying these methods in several frameworks---such as time series, random fields, inverse problems---for which the noise is rarely homoscedastic and its level is hard to know in advance. In this paper, we propose a new approach to the joint estimation of the conditional mean and the conditional variance in a high-dimensional (auto-) regression setting. An attractive feature of the proposed estimator is that it is efficiently computable even for very large scale problems by solving a second-order cone program (SOCP). We present theoretical analysis and numerical results assessing the performance of the proposed procedure.

研究の動機と目的

• 不均等分散ノイズを伴う高次元回帰の課題に対処し、Lasso や Dantzig 選択子といった従来のスパース手法がノイズ分散の事前知識を必要とすることを解決する。
• 既存のグループスパース手法が均一分散性を仮定するか、ノイズレベルの事前知識を必要とするという制限を克服する。
• グループスパースの下で、条件付き平均関数と分散関数を同時に推定する統一的で凸な最適化フレームワークを構築する。
• 提案された推定量に対して非漸近的理論的リスクバインディングを提供し、有限標本における性能保証を確保する。
• 反復的リファインメントや非凸最適化を必要とせず、2次錐計画（SOCP）を用いて大規模問題に対しても効率的な計算を可能にする。

提案手法

• 条件付き平均 $\mathbf{b}^*$ と分散 $\mathbf{s}^{*2}$ の同時推定を2次錐計画（SOCP）として定式化し、凸性と取り扱いやすさを保証する。
• 逆分散 $1/\mathbf{s}^*$ にパラメトリック構造を課し、それが低次元線形空間に属すると仮定することで、最適化におけるグループスパース性を実現する。
• 残差ベクトルにDantzig型の制約を導入し、設計行列と残差の間の最大相関がチューニングパラメータで制限されることを保証する。
• 未知のノイズレベルに適応するスケーリング形式を導入し、最適化フレームワーク内での分散関数の直接推定を可能にする。
• $\boldsymbol{\alpha}^*$ と $\boldsymbol{\phi}^*$ を用いた再パラメータ化を採用し、平均と分散の推定を分離しながらも凸性を維持する。
• 濃度不等式と特異値ノルムの制御を用いて非漸近的リスクバインディングを導出する。この際、カイ二乗分布およびガウス変数の尾部バインディングに依存する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分散の事前知識がなくても、高次元の不均等分散回帰における条件付き平均と分散の同時推定が、凸最適化フレームワークによって可能になるか。
• RQ2 提案手法がグループスパース性と不均等分散性の下でも統計的整合性を保ち、非漸近的リスクバインディングを達成できるか。
• RQ3 2次錐計画（SOCP）を用いて、大規模問題においても効率的に同時推定が可能か。
• RQ4 統計的性能と計算効率の観点から、反復的で非凸な代替手法と比較して、本手法はどのように差をつけるか。
• RQ5 提案されたSOCP定式化下で、平均および分散推定量の理論的有限標本リスクバインディングは何か。

主な発見

• 提案されたScHeDs推定量は計算が効率的であり、2次錐計画（SOCP）により解けるため、大規模応用が可能である。
• 平均および分散推定の両方において非漸近的リスクバインディングを達成しており、高確率で誤差が $\mathcal{O}(\sqrt{q \widehat{D}_1 \log(2T/\varepsilon) \log(2q/\varepsilon)})$ のオーダーに比例する。
• ノイズ分散の事前知識が不要であるため、時系列解析、画像処理、その他の不均等分散設定に適している。
• 理論的解析により、残差射影の特異値ノルムが制御されることを示し、モデル不適合下でも安定性が保証される。
• 数値実験により、有限標本における本手法のロバストネスと精度が確認され、速度および統計的性能の両面で反復的非凸代替手法を上回っている。
• 1/\mathbf{s}^* を基底関数の線形結合としてモデル化することにより、不均等分散性の構造的学習が可能となり、分散推定におけるグループスパース性を達成している。