[論文レビュー] Alternating Estimation for Structured High-Dimensional Multi-Response Models

Sheng Chen, Arindam Banerjee|arXiv (Cornell University)|Jun 29, 2016

Statistical Methods and Inference参考文献 38被引用数 3

ひとこと要約

本稿は、一般化されたダントツ選択子と実験的ノイズ共分散推定を活用して、構造的パラメータを有する高次元多応答線形モデルに対する交互推定（AltEst）手順を提案する。一般化されたパラメータ構造の下で、ガウス幅などの幾何的測度によって決定される最小レベルまで推定誤差が線形収束することを示す、非漸近的統計的保証を初めて確立する。

ABSTRACT

We consider learning high-dimensional multi-response linear models with structured parameters. By exploiting the noise correlations among responses, we propose an alternating estimation (AltEst) procedure to estimate the model parameters based on the generalized Dantzig selector. Under suitable sample size and resampling assumptions, we show that the error of the estimates generated by AltEst, with high probability, converges linearly to certain minimum achievable level, which can be tersely expressed by a few geometric measures, such as Gaussian width of sets related to the parameter structure. To the best of our knowledge, this is the first non-asymptotic statistical guarantee for such AltEst-type algorithm applied to estimation problem with general structures.

研究の動機と目的

• 相関ノイズを有する構造的高次元多応答モデルの推定のための非漸近的統計的フレームワークを開発すること。
• 構造的パラメータ推定における従来の交互最小化アルゴリズムが有限標本保証を欠いているという問題に取り組むこと。
• 非構造的スパarsityや低ランクモデルを超えて、一般のパラメータ構造へと交互推定の適用範囲を拡張すること。
• スパarsityや階層的スパarsityを含む一般のノルムに基づく構造に対して、AltEstの理論的収束保証を提供すること。
• 共同凸性仮定を回避しつつも強力な統計的性能を維持する中で、既存のアプローチを統一・一般化すること。

提案手法

• AltEstアルゴリズムは、一般化されたダントツ選択子（GDS）を用いて係数ベクトル θ* を推定し、実験的推定によりノイズ共分散 Σ* を更新する交互処理を繰り返す。
• 共同凸最適化目的関数を必要としないため、標準的な交互最小化（AltMin）よりもより一般的である。
• スパarsity、グループスパarsity、k-スパースノルムなどの低複雑性構造を捉えるために、ノルムに基づく正則化を用いる。
• 理論的分析は、ガウス幅や制限付きノルム適合性といった幾何的測度に依存して推定誤差を上限付ける。
• 濃度不等式と行列の偏差結果に基づいて導出された誤差上限を繰り返し適用することで収束を確立する。
• アルゴリズムは単位ノイズ共分散で初期化され、標本サイズと再サンプリングの仮定の下で、θ* と Σ* を繰り返し精緻化する。

実験結果

リサーチクエスチョン

• RQ1 構造的パラメータを有する高次元多応答モデルにおいて、交互推定が統計的に最適なレベルに厳密に収束することが保証可能か？
• RQ2 ノイズ相関を活用した場合、AltEstの構造的推定における非漸近的誤差率は何か？
• RQ3 推定誤差は、ガウス幅や制限付き適合性といったパラメータ構造の幾何的性質にどのように依存するか？
• RQ4 どのような標本サイズ条件下で、AltEstが最小誤差レベルへの線形収束を達成するか？
• RQ5 本フレームワークは、非構造的スパarsityや低ランクモデルを超えて、一般のパラメータ構造へと拡張可能か？

主な発見

• 適切な標本サイズと再サンプリングの仮定の下で、AltEstの推定誤差は高確率で最小達成可能なレベルまで線形収束する。
• 収束速度は、パラメータ構造に関連する集合のガウス幅といった幾何的測度によって特徴づけられる。
• 本手法は、重複スパarsityや階層的スパarsityを含む一般の構造的モデルに対し、非漸近的統計的保証を達成する。これは、従来未解決であった分野である。
• アルゴリズムは、各イテレーションにおける誤差がノイズ共分散とパラメータ構造を含む収縮係数によって上限付けられることを保証し、線形収束を実現する。
• 分析により、収束のための標本サイズ条件が、Σ* の最大固有値と最小固有値の比、パラメータノルム、およびモデルの幾何的複雑性に依存することが示された。
• 本フレームワークは、構造的高次元多応答モデルにおける交互推定の有限標本保証を初めて提供する。