[論文レビュー] Generalization Bounds for Vicinal Risk Minimization Principle

Chao Zhang, Min-Hsiu Hsieh+1 more|arXiv (Cornell University)|Nov 11, 2018

Bayesian Methods and Mixture Models参考文献 14被引用数 6

ひとこと要約

この論文は、リプシッツ連続性の仮定の下で、vicinal関数との畳み込みを経た関数クラスを分析することで、Vicinal Risk Minimization (VRM) 原理の一般化境界を確立する。VRMの一般化性能が、近接関数の選択と元の関数クラスの複雑さの両方に依存することを証明し、mixup やガウスベースのアプローチに代表されるVRMベースのモデルに対する理論的裏付けを提供する。

ABSTRACT

The vicinal risk minimization (VRM) principle, first proposed by \citet{vapnik1999nature}, is an empirical risk minimization (ERM) variant that replaces Dirac masses with vicinal functions. Although there is strong numerical evidence showing that VRM outperforms ERM if appropriate vicinal functions are chosen, a comprehensive theoretical understanding of VRM is still lacking. In this paper, we study the generalization bounds for VRM. Our results support Vapnik's original arguments and additionally provide deeper insights into VRM. First, we prove that the complexity of function classes convolving with vicinal functions can be controlled by that of the original function classes under the assumption that the function class is composed of Lipschitz-continuous functions. Then, the resulting generalization bounds for VRM suggest that the generalization performance of VRM is also effected by the choice of vicinity function and the quality of function classes. These findings can be used to examine whether the choice of vicinal function is appropriate for the VRM-based learning setting. Finally, we provide a theoretical explanation for existing VRM models, e.g., uniform distribution-based models, Gaussian distribution-based models, and mixup models.

研究の動機と目的

• 強力な経験的性能を示す一方で、依然として厳密な分析が不足しているVicinal Risk Minimization (VRM) 原理の包括的な理論的理解を提供すること。
• 特にリプシッツ連続性の下で、関数クラスの複雑さがvicinal関数との畳み込みによってどのように変化するかを分析すること。
• 元の関数クラスの複雑さと近接関数の両方に依存するVRMの一般化境界を導出すること。
• mixup、一様分布ベース、ガウスベースのアプローチを含む、既存のVRMモデルに対する理論的妥当性を提供すること。
• VRMベースの学習設定において、近接関数の選択が適切かどうかを評価するためのフレームワークを確立すること。

提案手法

• 元の関数クラスがリプシッツ連続であると仮定し、vicinal関数との畳み込みにおける関数クラスの複雑さの理論的分析。
• 被覆数とラデマッハ複雑度を用いて一般化境界を導出。経験的リスクと期待リスクの関係を、摂動に基づくアプローチで確立。
• リスク差の双対表現を用いて、vicinal分布と真の分布の期待的偏差に基づき、一般化誤差をバインドすること。
• 集中不等式とモーメント母関数を用いて、リスク差の尾確率を制御すること。
• 元の関数クラスの被覆数と畳み込み後のクラスの被覆数を結ぶ被覆集合 Λ* を導入すること。
• Li (2012) の補題16を活用し、リスク差の指数的尾部バインドを、部分ウェイブル尾部挙動に結びつけること。

実験結果

リサーチクエスチョン

• RQ1 特にリプシッツ連続性の下で、関数クラスがvicinal関数と畳み込まれた際に、その複雑さはどのように変化するか？
• RQ2 VRM原則に対して導出可能な一般化境界は何か？ そして、それらは近接関数の選択にどのように依存するか？
• RQ3 元の関数クラスの複雑さは、VRMの一般化性能にどの程度影響を及えるか？
• RQ4 提案されたフレームワークを通じて、mixup やガウスベースのVRMモデルのような既存のVRMモデルは理論的に正当化できるか？
• RQ5 特定のVRM学習設定において、与えられたvicinal関数が適切かどうかをどのように評価できるか？

主な発見

• 関数がリプシッツ連続である場合、vicinal関数と畳み込まれた関数クラスの複雑さは、元のクラスの複雑さによって制御される。
• VRMの一般化境界は、元の関数クラスの被覆数と近接関数の選択の両方に依存する。
• 提案された境界は、VRMの一般化性能が関数クラスの質とvicinal関数の形に敏感であることを示唆している。
• 理論的フレームワークは、mixup、一様分布ベース、ガウスベースのVRMモデルの成功に対する裏付けを提供する。
• 適切な尾部条件のもとで、リスク差の確率的バインドが導出され、一般化誤差が標本サイズの平方根に従って減少することが示された。
• 複雑さとずれのメトリクスに直接関連づけることで、フレームワークはvicinal関数の選択に対する体系的評価を可能にする。