[論文レビュー] Dimension-free PAC-Bayesian bounds for the estimation of the mean of a random vector

Olivier Catoni, Ilaria Giulini|arXiv (Cornell University)|Feb 12, 2018

Statistical Methods and Inference参考文献 6被引用数 20

ひとこと要約

本稿では、弱いモーメント仮定の下で、サンプルベクトルのノルムに対する単純なしきい値処理を用いて、次元に依存しないPAC-Bayesian推定量を提案する。この手法は、サブガウス型の尾部境界を、サブガウス型の尾部を仮定しないまま達成でき、ヒルベルト空間における非漸近的保証を維持しながら、ロバスト性と計算の単純さを兼ね備えている。

ABSTRACT

In this paper, we present a new estimator of the mean of a random vector, computed by applying some threshold function to the norm. Non asymptotic dimension-free almost sub-Gaussian bounds are proved under weak moment assumptions, using PAC-Bayesian inequalities.

研究の動機と目的

• 第二モーメントしか存在しない場合の、ロバストで計算が単純な確率的ベクトルの平均推定量の開発を目的とする。
• 弱い尾部仮定の下で、推定誤差の非漸近的かつ次元に依存しない集中境界の導出を目的とする。
• カトニの1次元PAC-Bayesianアプローチを、ノルムに基づくしきい値処理を用いて多次元設定に拡張することを目的とする。
• 第二モーメント項を許容することで、鋭さと計算の実行可能性のバランスを図り、今後の研究で正確なサブガウス型境界への道筋を提供することを目的とする。

提案手法

• 各サンプルベクトルがそのノルムの関数によってスケーリングされる、しきい値処理付きの標本平均推定量を導入する。具体的には、$ Y_i = \frac{\psi(\lambda\|X_i\|)}{\lambda\|X_i\|}X_i $ で、$ \psi(t) = \min\{t,1\} $ である。
• PAC-Bayesian不等式を用いて、任意の単位ベクトル $ \theta $ の方向における推定誤差の高確率境界を導出する。
• 指数モーメントを多項式近似によってバインドするために、関数 $ g_1(t) = \frac{1}{t}(\exp(t) - 1) $ と $ g_2(t) = \frac{2}{t^2}(\exp(t) - 1 - t) $ を用いる。
• 縮約論法としきい値関数の性質を用いて、推定量誤差の期待二乗ノルムのバインドを確立する。
• 推定量誤差のノルム $ \|\widehat{m} - m\| $ の高確率上界を導出し、$ v $, $ T $, および高階モーメントに依存する項を含む。調整可能なパラメータ $ \mu $, $ \lambda $, および $ \beta $ を含む。
• パラメータ $ \lambda $, $ \beta $, および $ \mu $ を最適化してバインドを最小化し、鋭さと計算の単純さのトレードオフを達成する。

実験結果

リサーチクエスチョン

• RQ1 第二モーメントしか存在しない場合に、単純なしきい値処理付きの標本平均の修正が、高次元または無限次元設定においてサブガウス型の集中を達成できるか？
• RQ2 弱いモーメント仮定の下で、次元に依存しない境界を有する多次元推定に、PAC-Bayesian不等式をどのように拡張できるか？
• RQ3 サブガウス型の尾部を仮定しない状況下で、計算の単純さと推定誤差バインドの鋭さのトレードオフはどのように解釈できるか？
• RQ4 第二モーメント条件のみを仮定する場合に、推定量が分離可能なヒルベルト空間においてもロバスト性と非漸近的保証を維持できるか？

主な発見

• 確率 $ 1 - \delta $ 以上で、推定量 $ \widehat{m} $ は $ \|\widehat{m} - m\| \leq \sqrt{\frac{2av\log(\delta^{-1})}{n}} + \sqrt{\frac{bT}{n}} + \text{低次の項} $ を満たす。ここで $ a = g_2(2\mu) \geq 1 $、$ b \geq \exp(2\mu)g_1(\mu^2\sqrt{2av/(T\log(\delta^{-1}))}) $ である。
• $ \mu = 1/4 $ かつ $ \delta \leq \exp(-1) $ の場合、定数は $ a \leq 1.2 $ および $ b \leq 4 $ を満たし、小さなオーバーヘッドで実用的な境界が得られる。
• $ \|\widehat{m} - m\| $ の尾部挙動は、第二モーメント項までサブガウス型であり、第一モーメント項は最適なサブガウス型レート $ \sqrt{v \log(\delta^{-1}) / n} $ と一致する。
• 推定量は分離可能なヒルベルト空間においても有効であり、境界が次元に依存せず、共分散構造とモーメント条件にのみ依存するためである。
• この手法は妥協を実現する：計算が単純であるが、バインドに第二モーメント項が含まれる。より複雑な推定量を採用すれば、これらの項を排除できるが、計算コストが増加する。
• $ p > 1 $ の場合、高階モーメント項は $ \mathcal{O}(n^{-p/2}) $ の速度で減少し、高階モーメントが存在する場合には高速収束を保証する。