[論文レビュー] No fast exponential deviation inequalities for the progressive mixture rule

Jean-Yves Audibert|arXiv (Cornell University)|Mar 28, 2007

Machine Learning and Algorithms参考文献 14被引用数 5

ひとこと要約

この論文は、進化的混合ルールが最適な $ O(1/n) $ の期待リスクレートを達成しているにもかかわらず、指数的で高速な偏差不等式を満たさないことを示している。標準的な仮定（指数的・凸性と対称的損失）のもとでも、その偏差バウンドは $ O(1/\sqrt{n}) $ にとどまり、期待値に基づく保証と比較して高確率性能が劣ることが示唆される。

ABSTRACT

We consider the learning task consisting in predicting as well as the best function in a finite reference set G up to the smallest possible additive term. If R(g) denotes the generalization error of a prediction function g, under reasonable assumptions on the loss function (typically satisfied by the least square loss when the output is bounded), it is known that the progressive mixture rule g_n satisfies E R(g_n) < min_{g in G} R(g) + C (log|G|)/n where n denotes the size of the training set, E denotes the expectation w.r.t. the training set distribution and C denotes a positive constant. This work mainly shows that for any training set size n, there exist a>0, a reference set G and a probability distribution generating the data such that with probability at least a R(g_n) > min_{g in G} R(g) + c sqrt{[log(|G|/a)]/n}, where c is a positive constant. In other words, surprisingly, for appropriate reference set G, the deviation convergence rate of the progressive mixture rule is only of order 1/sqrt{n} while its expectation convergence rate is of order 1/n. The same conclusion holds for the progressive indirect mixture rule. This work also emphasizes on the suboptimality of algorithms based on penalized empirical risk minimization on G.

研究の動機と目的

• 進化的混合ルールが最適な期待リスクレートを達成するが、それと同時に高速な指数的偏差不等式を満たすかどうかを調査すること。
• 標準的な損失仮定の下で、進化的混合ルールおよびその間接的変種の偏差挙動を分析すること。
• 良好な期待性能が強力な高確率バウンドを意味するという一般的な仮定を疑うこと。
• ペナルティ付き経験リスク最小化が、高速な偏差レートを達成する上で非効率であることを強調すること。

提案手法

• 特定のデータ生成分布と参照集合 $ \mathcal{G} $ を構築することで、偏差確率の下界を示す。
• ホエーディングの不等式とモーメント生成関数の技術を用いて、経験リスク最小化の期待リスクをバウンドする。
• 最適化されたエッジ差異を有するハイパーキューブを用いたアッソアド型の下界を適用する。
• 進化的混合ルールを、累積損失に基づく逐次更新された事後加重の時間平均として定義する。
• 主な不等式は、$ \mathcal{G} $ 内の最良関数とのリスク超過を、エッジ差異 $ d_{\textnormal{I}} $ と正規化された偏差項を用いてバウンドすることに焦点を当てる。
• 損失関数の対称性と許容性を活用して、正のエッジ差異を保証し、非自明な下界を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な指数的・凸性および対称的損失仮定のもとで、進化的混合ルールは高速な指数的偏差不等式を達成できるか？
• RQ2 進化的混合ルールの $ O(1/n) $ の期待リスクレートは、それに応じた $ O(1/n) $ の偏差レートに対応するか？
• RQ3 進化的混合ルールの最小可能な偏差レートは、$ n $ と $ |\mathcal{G}| $ の観点からどのように表されるか？
• RQ4 なぜペナルティ付き経験リスク最小化手法は、この設定において高速な偏差レートを達成できないのか？

主な発見

• 任意の $ n $ に対して、確率が $ \epsilon > 0 $ 以上であるような分布と参照集合 $ \mathcal{G} $ が存在し、進化的混合ルールのリスク超過が少なくとも $ c\sqrt{\frac{\log(|\mathcal{G}|\epsilon^{-1})}{n}} $ に達する。
• 期待レートが $ O(1/n) $ であるにもかかわらず、偏差収束レートは $ O(1/\sqrt{n}) $ にとどまるため、高確率性能に根本的なギャップがあることが示唆される。
• 同じ非最適な偏差レートは、進化的間接混合ルールに対しても成立する。
• 『中心でうまく振る舞う』および許容性の仮定により、エッジ差異 $ d_{\textnormal{I}} $ は正の値をとるため、非自明な下限が得られる。
• 下限は $ \tilde{d}_{\textnormal{II}} = \min\left(\frac{\tilde{m}}{4n}, 1\right) $ と設定することで最適化され、提示された偏差レートが得られる。
• この結果は、期待レートが最適であっても、ペナルティ付き経験リスク最小化が高速な偏差レートを達成する上で非効率であることを示している。