[論文レビュー] Learning subgaussian classes : Upper and minimax bounds

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|May 21, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用数 55

ひとこと要約

この論文は、凸関数族上のサブガウスィアン学習問題における経験的リスク最小化（ERM）の鋭い上界およびミニマックス界を確立する。ERMがサブガウスィアンノイズ下で期待値においてミニマックス最適であることを証明し、精度と信頼度の最適なトレードオフを達成している。これは、サブガウスィアン設定において、凸性がこの最適性を実現するために不可欠であることを示している。

ABSTRACT

We obtain sharp oracle inequalities for the empirical risk minimization procedure in the regression model under the assumption that the target Y and the model F are subgaussian. The bound we obtain is sharp in the minimax sense if F is convex. Moreover, under mild assumptions on F, the error rate of ERM remains optimal even if the procedure is allowed to perform with constant probability. A part of our analysis is a new proof of minimax results for the gaussian regression model.

研究の動機と目的

• サブガウスィアン回帰問題における学習手順としての経験的リスク最小化（ERM）の最適性を特定すること。
• ERMの過剰リスクに対する上界を、ミニマックス下界と一致させるように確立することにより、最適性を保証すること。
• サブガウスィアンノイズ下でのミニマックス最適性を達成するための凸性の役割を明確にすること。
• 高次元または複雑な関数族において、ERMが可能な限り良好な精度と信頼度のトレードオフを達成する条件を調査すること。
• サブガウスィアン設定と、より重い尾を持つ分布との対比を行い、ERMが最適なパフォーマンスを達成できない理由を明らかにすること。

提案手法

• 関数族によってインdeXされた経験プロセスの上界を導出するため、ガウス過程比較技術に基づく固定点論法を用いる。
• ベルシュタイン型の条件と一様等周不等式を適用し、経験的リスクと真のリスクの乖離を制御する。
• ミニマックスレートが達成される条件を特徴付けるために、1-ベルシュタイン条件の概念を用いる。これにより、凸性と結びつける。
• $L_2(\mu)$ 上での関数族への距離の射影を分析し、一意的な最良近似が存在することは凸性を意味することを示す。
• バスコフの定理を用いて、ヒルバート空間内に局所的にコンパクトなチービシェフ集合が存在する場合、その集合は凸であることを証明する。
• 集合 $rD \cap (\mathcal{F} - \mathcal{F})$ 上でのガウス過程の上界を用いて境界を導出し、関数族の複雑さと関連付ける。

実験結果

リサーチクエスチョン

• RQ1 ERM がサブガウスィアン学習問題においていつミニマックス最適となるか。
• RQ2 関数族の凸性が、過剰リスクの境界における ERM のパフォーマンスにどのように影響を与えるか。
• RQ3 サブガウスィアン設定において、ERM が達成できる精度と信頼度の正確なトレードオフは何か。
• RQ4 なぜ ERM はサブガウスィアンの場合と比べて、より重い尾を持つノイズ分布下では最適なパフォーマンスを達成できないのか。
• RQ5 ガウス過程の技術と等周性を用いて、ミニマックス収束レートを正確に特徴づけられるか。

主な発見

• 関数族 $\mathcal{F}$ が凸である場合、サブガウスィアン学習問題において ERM は期待値におけるミニマックス収束レートを達成する。
• ERM の過剰リスクに対する上界がミニマックス下界と一致しており、この設定下で ERM が最適であることを証明している。
• 関数族 $\mathcal{F}$ の凸性は、$L_2(\mu)$ 上での一意的な最良近似が存在するための必要十分条件であり、これにより 1-ベルシュタイン条件が導かれる。
• 一様ベルシュタイン条件が成立することは、関数族が凸であることを意味し、統計的パフォーマンスと幾何的構造との深い関連性を示している。
• クラスが $L_2(\mu)$ 上で局所的にコンパクトでない限り、ミニマックスレートはゼロに近づかない。このような場合、凸性が最適パフォーマンスを保証する。
• 結果は鋭い：サブガウスィアン設定では、ERM が可能な限り良好な精度・信頼度トレードオフを達成しており、より重い尾を持つ分布ではその性質が成立しない。