[論文レビュー] Robustness Implies Generalization via Data-Dependent Generalization Bounds

Kenji Kawaguchi, Zhun Deng+2 more|arXiv (Cornell University)|Jun 27, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、仮説空間に依存しない新たなデータ依存一般化境界を導入することで、ロバスト性が一般化を意味することを確立した。この境界は、被覆数Kへの依存を著しく低減し、マルチノミアル確率変数の改善された集中不等式とランダム射影を用いて、lassoおよびディープラーニングモデルにおける一般化境界のほぼ指数的改善を達成した。実世界のデータと理論的モデルで検証された。

ABSTRACT

This paper proves that robustness implies generalization via data-dependent generalization bounds. As a result, robustness and generalization are shown to be connected closely in a data-dependent manner. Our bounds improve previous bounds in two directions, to solve an open problem that has seen little development since 2010. The first is to reduce the dependence on the covering number. The second is to remove the dependence on the hypothesis space. We present several examples, including ones for lasso and deep learning, in which our bounds are provably preferable. The experiments on real-world data and theoretical models demonstrate near-exponential improvements in various situations. To achieve these improvements, we do not require additional assumptions on the unknown distribution; instead, we only incorporate an observable and computable property of the training samples. A key technical innovation is an improved concentration bound for multinomial random variables that is of independent interest beyond robustness and generalization.

研究の動機と目的

• 2010年以降、アルゴリズム的ロバストネス境界における被覆数Kの平方根依存性を低減するという長年の未解決問題に取り組む。
• 従来の一般化境界の適用範囲を制限する仮説空間への依存を完全に排除する。
• 学習サンプルの観察可能で計算可能な性質を用いるデータ依存フレームワークを構築し、一般化保証を向上させる。
• 高次元設定、特にディープラーニングとlassoにおいて、ロバストネスから一般化への関係をより鋭い境界で示す。
• マルチノミアル確率変数の新しい集中不等式を提案し、一般化理論を超えて独立に価値あるものとする。

提案手法

• 標準的なK依存項を置き換えるデータ依存一般化境界を提案し、ランダム射影に基づく洗練された適応的パーティショニング方式を導入する。
• ランダム行列射影を用いて高次元入力空間を低次元空間にマップし、その後で射影空間にε被覆を適用して事前パーティションを定義する。
• 最終的なパーティションを射影空間の被覆の逆像として定義することで、元の空間への直接被覆と比較してKを低減する。
• マルチノミアル確率変数の新しい集中不等式を導入し、Kへの依存を√Kから対数的または多項式より小さい項へ改善する。
• 改善された集中不等式を適用して、√Kではなくε(S)およびKの修正関数に比例するより鋭い一般化誤差境界を導出する。
• 実世界のデータセット（例：Semeion, MNIST）と合成モデルを用いて検証し、異なるデータ分布におけるKと一般化誤差を比較する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的ロバストネスに基づく一般化境界における被覆数Kへの依存性を、データ分布に関する追加仮定なしに著しく低減できるか？
• RQ2 仮説空間への依存を排除することで、高次元学習問題におけるより鋭く実用的な一般化境界が得られるか？
• RQ3 ランダム射影を用いて適応的パーティションを構築することで、標準的なε被覆よりも顕著に良い一般化境界が得られるか？
• RQ4 提案されたマルチノミアル確率変数の集中不等式は、K依存性と適用可能性の面で既存のものよりも優れているか？
• RQ5 新しいデータ依存境界は、実世界のディープラーニングおよびlassoモデルにおいて、従来の境界を上回るか？

主な発見

• 提案された一般化境界は、特に高次元設定において、従来の境界に対してほぼ指数的改善を達成した。
• 仮説空間への依存を完全に排除したため、ディープニューラルネットワークやlassoを含むより広いモデルクラスに適用可能である。
• 実世界のデータおよび合成モデルでの実験により、新しい境界が従来の境界よりも顕著に鋭く、より好都合であることが示された。
• 入力空間への直接被覆と比較して、ランダム射影によるパーティション定義によりKが著しく低減され、次元dが増加するほど顕著である。
• マルチノミアル変数の改善された集中不等式により、Kへの依存が√Kから多項式より小さいまたは対数的項へと低減され、長年の未解決問題が解決された。
• 本手法は、lassoおよびディープラーニングモデルにおいてより鋭い一般化境界を達成し、複数のデータセットおよび分布における一貫した改善が実証された。