[論文レビュー] PAC-Bayesian bounds for the Gram matrix and least squares regression with a random design

Olivier Catoni|arXiv (Cornell University)|Mar 16, 2016

Random Matrices and Applications参考文献 13被引用数 25

ひとこと要約

この論文は、多項式モーメントの仮定のもとで、重い尾を持つ分布に対して、Gram行列と共分散行列のロバストなPAC-Bayesian推定器を導入し、非漸近的バウンドを活用して安定した推定を達成する。通常最小二乗推定器の正確な収束速度を導出し、重い尾を持つノイズ下で過剰リスクを著しく改善する、新しいロバスト最小二乗法を提案している。シミュレーションにより検証されている。

ABSTRACT

The topics dicussed in this paper take their origin inthe estimation of the Gram matrix of a random vector from a sample made of n independent copies. They comprise the estimation of the covariance matrix and the study of least squares regression with a random design. We propose four types of results, based on non-asymptotic PAC-Bayesian generalization bounds: a new robust estimator of the Gram matrix and of the covariance matrix, new results on the empirical Gram matrix, new robust least squares estimators and new results on the ordinary least squares estimator, including its exact rate of convergence under polynomial moment assumptions.

研究の動機と目的

• 弱い多項式モーメント仮定のもとで、特に重い尾を持つ分布に対して、Gram行列 $ G = \mathbb{E}[XX^\top] $ のロバスト推定器を開発すること。
• PAC-Bayesian手法を用いて、標本平均Gram行列 $ \overline{G} = \frac{1}{n}\sum_{i=1}^n X_iX_i^\top $ の非漸近的一般化バウンドを確立すること。
• 重い尾を持つノイズ下で、通常最小二乗法を上回る性能を示す、新しいロバスト最小二乗推定器を提案すること。
• 多項式モーメント条件の下で、経験的リスク最小化推定子の過剰リスク $ R(\widehat{\theta}) - \inf R(\theta) $ の正確な収束速度を導出すること。

提案手法

• この手法は、PAC-Bayesianフレームワークを用いて、すべての方向 $ \theta \in \mathbb{R}^d $ に対して一様に推定誤差 $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ をバウンドする。ここで $ N(\theta) = \theta^\top G \theta $ である。
• スケールパラメータ $ \lambda(p) $ を、二乗射影の標本分散から導出することで、$ N(\theta) $ のロバスト推定器を、メジアン・オブ・ミーンズアプローチを用いて構築する。
• 偏極恒等式 $ G_{i,j} = \frac{1}{4}[N(e_i + e_j) - N(e_i - e_j)] $ を、現在の推定値の動的更新された固有基底に適用して、Gram行列を推定する。
• アルゴリズムは繰り返し、現在の推定値 $ \widehat{G}(k) $ を対角化し、固有空間でロバストな $ N(\theta) $ 推定器を適用し、直交変換によって再結合することで、Gram推定子を更新する。
• 最小二乗回帰のため、$ (X, -Y) $ のロバストGram行列推定値を分割し、$ \widehat{\theta} = -\widehat{G}_{1,1}^{-1}\widehat{G}_{1,2} $ を解くことで、ロバスト推定子 $ \widehat{\theta} $ を得る。ここで擬似逆行列が用いられる。
• ニュートン型アルゴリズムにより、方程式 $ \sum_{i=1}^n \psi[\lambda(S^{-1}p_i^2 - 1)] = 0 $ の解 $ S(p, \lambda) $ を計算し、二次形式のロバスト推定を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 多項式モーメント仮定のもとで、非漸近的一般化バウンドを備えた、Gram行列のロバスト推定器を構築できるか？
• RQ2 多項式モーメント条件の下で、通常最小二乗推定器の過剰リスク $ R(\widehat{\theta}) - \inf R(\theta) $ の正確な収束速度は何か？
• RQ3 重い尾を持つノイズ下で、提案されたロバスト最小二乗推定器は、経験的リスク最小化推定子と比べて過剰リスクにおいてどのように異なるか？
• RQ4 PAC-Bayesianツールを用いて、すべての $ \theta \in \mathbb{R}^d $ に対して、相対誤差 $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ を高確率で一様にバウンドできるか？
• RQ5 繰り返し的なロバストGram行列推定子は、重い尾の設定において、標本Gram行列よりも優れた性能を達成できるか？

主な発見

• 提案されたロバスト推定子は、高確率で $ \left| \frac{N(\theta)}{\widehat{N}(\theta)} - 1 \right| $ に対して一様なバウンドを達成し、$ G $ の核空間の正確な回復を可能にする。
• 多項式モーメント仮定のもとで、$ \sup_{\|\theta\|_2 \leq 1} \mathbb{E}[\langle\theta,X\rangle^4] \leq \kappa $ を仮定し、$ \kappa $ が尾の重さを制御する条件下で、通常最小二乗推定子の過剰リスクの正確な収束速度が導出された。
• 10%のノイズ成分が $ \mathcal{N}(0, 900) $ に由来するシミュレーションでは、ロバスト推定子が経験的リスク最小化推定子と比較して、期待過剰リスクを1.7から1.1未満にまで低減した。
• 重い尾を持つ分布下で、ロバストGram行列推定子は、特に $ \kappa > 3 $ の場合に、標本Gram行列 $ \overline{G} $ よりも安定性が優れていることが示された。
• 固有値分解とロバストな $ N(\theta) $ 推定に基づく反復的アルゴリズムは、高速に収束し、計算効率の面で、単純なニューラルネットベース手法を上回る性能を示した。
• 本手法は、経験的Gram行列 $ \overline{G} $ を分析する数学的に厳密なツールを提供し、多項式モーメント仮定の下で、新たな一般化バウンドを導出した。