[論文レビュー] Exponential weights in multivariate regression and a low-rankness favoring prior

Arnak S. Dalalyan|arXiv (Cornell University)|Jun 25, 2018

Statistical Methods and Inference参考文献 27被引用数 12

ひとこと要約

本稿は、固定設計および有界ノイズを伴う多次元回帰における指数型重みのための鋭い PAC-Bayesianオラクル不等式を確立し、ノイズ分布の対称性が独立性を仮定しなくても最適なリスクバウンドを達成するのに十分であることを示している。ノイズのある指数型加重平均を導入することで、一般の対称的かつ有界サポートを持つノイズにおいて鋭いバウンドが得られ、この枠組みをスペクトルスケーリングされたスチューデント分布を用いた低ランク行列推定に応用し、弱い仮定のもとで最適なミニマックスレートを達成した。

ABSTRACT

We establish theoretical guarantees for the expected prediction error of the exponential weighting aggregate in the case of multivariate regression that is when the label vector is multidimensional. We consider the regression model with fixed design and bounded noise. The first new feature uncovered by our guarantees is that it is not necessary to require independence of the observations: a symmetry condition on the noise distribution alone suffices to get a sharp risk bound. This result needs the regression vectors to be bounded. A second curious finding concerns the case of unbounded regression vectors but independent noise. It turns out that applying exponential weights to the label vectors perturbed by a uniform noise leads to an estimator satisfying a sharp oracle inequality. The last contribution is the instantiation of the proposed oracle inequalities to problems in which the unknown parameter is a matrix. We propose a low-rankness favoring prior and show that it leads to an estimator that is optimal under weak assumptions.

研究の動機と目的

• 多次元ラベルを伴う回帰における指数型重みの理論的保証を拡張すること。
• ノイズ分布に対する最小限の仮定の下で鋭いオラクル不等式を確立すること、特に独立性の必要性を緩和すること。
• 対称的かつ有界サポートを持つノイズ分布においても鋭いリスクバウンドを維持するロバストな集合化手順を開発すること。
• 理論的結果を低ランク行列推定に応用し、新たな事前分布を用いて低ランク解を促進すること。
• 弱い正則性条件のもとで、得られた推定量がミニマックス意味で最適であることを示すこと。

提案手法

• データベクトルに一様ノイズを追加したのちに指数型重みを適用するノイズを含む指数型加重平均を提案し、対称的かつ有界ノイズにおいてロバスト性を向上させた。
• ノイズ分布の対称性条件の下で鋭い PAC-Bayesian オラクル不等式を導出し、標本が独立である場合には剰余項が $\|\boldsymbol{\Sigma}\|/n$ のオーダーに比例することを示した。
• 低ランク行列推定に適したスペクトルスケーリングされたスチューデント事前分布を導入し、低ランク解を促進するとともに、最適なミニマックスレートを達成した。
• スティンの補題と修正された集合化手順を用いて、有界サポートを持つ対称分布に関する先行研究の欠陥を是正した。
• トレース回帰および低ランク行列回復にこの枠組みを適用し、得られた推定量がミニマックス最適レートに達することを示した。
• 実装にはランジュアン・モンテカルロ法を用い、デジタル画像のノイズ除去において実験的に検証した。

実験結果

リサーチクエスチョン

• RQ1 ノイズ成分の独立性を仮定しない場合でも、多次元回帰における指数型重みが鋭いオラクル不等式を達成できるか？
• RQ2 データベクトルに一様ノイズを追加することで、一般の対称的かつ有界サポートを持つノイズ分布において鋭いリスクバウンドが達成可能か？
• RQ3 提案された枠組みを、最適なミニマックスレートを達成する低ランク行列推定に拡張可能か？
• RQ4 弱い仮定のもとでトレース回帰において最適な性能を発揮する行列の事前分布は何か？
• RQ5 ノイズ共分散行列のスペクトルノルムがオラクル不等式における剰余項にどのように影響するか？

主な発見

• ノイズ分布の対称性条件のもとで鋭いオラクル不等式が成立し、剰余項は $K/n$ のオーダーとなり、i.i.d. の場合に最適である。
• 標本が独立である場合、剰余項は $\|\boldsymbol{\Sigma}\|/n$ のオーダーに比例し、ここで $\|\boldsymbol{\Sigma}\|$ はノイズ共分散行列のスペクトルノルムを表す。
• ノイズを含む指数型加重平均は、任意の対称的かつ有界サポートを持つノイズ分布において鋭いリスクバウンドを達成でき、先行研究の欠陥を是正した。
• スペクトルスケーリングされたスチューデント事前分布は、弱い仮定のもとで低ランク行列推定においてミニマックス最適レートを達成する推定量を導いた。
• 得られた推定量はランジュアン・モンテカルロ法により実装可能であり、画像ノイズ除去実験において有望な性能を示した。
• 理論的枠組みは、従来の指数型重みに関する結果を多次元および低ランク設定に一般化・拡張し、最小限の分布的仮定で統一した。