[論文レビュー] High dimensional regression and matrix estimation without tuning parameters

Sourav Chatterjee|arXiv (Cornell University)|Oct 25, 2015

Statistical Methods and Inference参考文献 90被引用数 4

ひとこと要約

本稿では、調整パrameterを必要とせず、最小最大最適レートを達成する高次元回帰および行列推定のための新しい適応的推定フレームワークを提案する。データ駆動型のノルムに基づく射影推定量を用い、一貫したσの推定値により未知のスパarsityに自動的に適応する手法により、ℓ¹ノルムや核ノルムを含む任意のノルムにおいて、最適なリスクバウンドを達成する。調整パrameterの手動選択を必要としない。

ABSTRACT

A general theory for Gaussian mean estimation that automatically adapts to unknown sparsity under arbitrary norms is proposed. The theory is applied to produce adaptively minimax rate-optimal estimators in high dimensional regression and matrix estimation that involve no tuning parameters.

研究の動機と目的

• 調整パrameterを必要とせず、任意のノルムにおいて未知のスパarsityに適応する一般化されたガウス平均推定のフレームワークを開発すること。
• 従来の方法が正則化パrameterの調整を必要とする高次元回帰および行列推定問題に、このフレームワークを拡張すること。
• 使用者が指定する調整パrameterなしに、ℓ¹ノルムおよび核ノルムの下で最小最大最適リスクバウンドを達成する推定量を生成すること。
• 未知のスパarsityレベルに依存しない理論的リスクバウンドを確立し、既存の方法を改善すること。

提案手法

• σ̂がσの一致推定であることを前提に、||Y - ν||² ≤ nσ̂² を制約条件とするノルムK(ν)の最小化として定義されるデータ駆動型推定量を提案する。
• 設計ノルムKの双対ノルムK°(Z)を用いてリスクをバウンドし、Z ~ N(0, Iₙ) を用いて推定量の性能の理論的分析を可能にする。
• 定理1.1を適用し、推定量のリスクがK(μ)およびσ̂の推定誤差に比例することを示し、未知のスパarsityに最適に適応することを実証する。
• 回帰問題においては、ランク削減により次元を低減し、一般フレームワークをℓ¹ノルムに適用することで、調整パrameterフリーのラッソに類似した推定量を導出する。
• 行列推定においては、行列をベクトルとして扱い、制約ノルムKとして核ノルムを用いることで、調整パrameterフリーの行列ノイズ除去推定量を実現する。
• 濃度不等式およびガウスコホーシャのモーメントバウンドを用いてσ̂の推定誤差を制御し、調整なしにリスクバウンドがタイトに保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元推定において、調整パrameterを必要とせず、未知のスパarsityに適応する一般フレームワークを開発できるか？
• RQ2 提案手法は、正則化パrameterを調整しない状態でも、ℓ¹ノルムの下で高次元回帰において最小最大最適レートを達成できるか？
• RQ3 同じフレームワークを核ノルムを用いた行列推定に拡張でき、調整なしに最適な性能を達成できるか？
• RQ4 提案された推定量のリスクは、真のパramータのノルムとσ̂の推定誤差にどのように依存するか？

主な発見

• 提案された推定量は、E||Ŷ - μ||² / (nσ²) ≤ 16K(μ)/nσ × E[K°(Z)] + 2√(2/n) + 2E|σ̂² - σ²|/σ² というリスクバウンドを達成し、ノルムK(μ)を通じて未知のスパarsityに適応する。
• 高次元回帰において、調整パrameterなしにℓ¹ノルムの下で最小最大レート最適な推定量を生成し、最適な正則化パrameterが設定されたラッソと同等の性能を達成する。
• 行列推定においては、核ノルムの下で最適なリスクバウンドを達成する調整パrameterフリーの推定量を導出し、ランクkのl×m行列に対してリスクがO(√(k/m) + √(k/l))に比例することを示す。
• 回帰および行列推定の両設定において最小最大最適性を達成し、従来の調整依存手法よりも優れた理論的リスクバウンドを実現する。
• 真のパramータのノルム（K(μ)）が小さくなるほど推定量の性能が向上するが、その値を事前に知らなくても、射影制約の適応的性質により、性能向上が実現される。