[論文レビュー] Measuring Generalization with Optimal Transport

Ching-Yao Chuang, Youssef Mroueh+3 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 5

ひとこと要約

本論文は、特徴分布の構造を測定するために最適輸送を用いることで、深層ニューラルネットワークの新たな一般化境界を導入する。具体的には、潜在空間におけるクラスタリングと分離を捉える一般化された分散（k-分散）を用いる。提案されたk-分散正規化マージン境界は、多様なアーキテクチャやデータセットにおいて一般化誤差を強く予測し、従来の理論的測定値を上回り、実験的頑健性および意思決定境界の性質と整合する。

ABSTRACT

Understanding the generalization of deep neural networks is one of the most important tasks in deep learning. Although much progress has been made, theoretical error bounds still often behave disparately from empirical observations. In this work, we develop margin-based generalization bounds, where the margins are normalized with optimal transport costs between independent random subsets sampled from the training distribution. In particular, the optimal transport cost can be interpreted as a generalization of variance which captures the structural properties of the learned feature space. Our bounds robustly predict the generalization error, given training data and network parameters, on large scale datasets. Theoretically, we demonstrate that the concentration and separation of features play crucial roles in generalization, supporting empirical results in the literature. The code is available at \url{https://github.com/chingyaoc/kV-Margin}.

研究の動機と目的

• 深層学習における理論的一般化境界と実験的観察の間のギャップを埋めること。
• 多様なアーキテクチャやハイパーパrameterにわたって予測可能な、理論的根拠に基づいたデータ依存の一般化境界を開発すること。
• 最適輸送を用いて、特徴のクラスタリングとクラス間分離が一般化に与える役割を形式化すること。
• k-分散を用いてマージンに基づく境界と学習済み表現の構造的性質を統合すること。
• スペクトルノルムやVC次元のような空虚または一貫性のない境界と対照的に、理論的根拠に基づいた代替境界を提供すること。

提案手法

• 訓練分布の独立なランダムサブセット間の最適輸送コストを、分散の代理として用い、古典的分散を一般化してデータ構造を捉える。
• k-分散を最適輸送に基づく一般化された分散として定義し、潜在空間における特徴の集中度と分離度を測定する。
• 特徴分布のk-分散で標準マージンを正規化することで、k-分散正規化マージンを提案する。
• Wasserstein-1距離と頑健なリスク最適化を用いて理論的マージン境界を導出し、意思決定境界の頑健性と関連付ける。
• 多クラス分類にこのフレームワークを適用し、クラス内に特徴がよくクラスタリングされ、クラス間でWasserstein意味で分離されている場合に良い一般化が達成されることを示す。
• 訓練データとネットワークパラメータを用いて境界を実験的に推定し、PGDLチャレンジデータにおいてテスト誤差と強い相関を示す。

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づく特徴分布構造の測定は、深層学習における一般化境界を改善できるか？
• RQ2 k-分散（一般化された分散）は、一般化に影響を与える学習済み特徴の構造的性質をどのように捉えるか？
• RQ3 k-分散正規化マージンは、既存の理論的境界よりも一般化誤差をより正確に予測できるか？
• RQ4 深層ネットワークにおける特徴クラスタリング、分離と一般化の間の理論的関係は何か？
• RQ5 提案された境界は、勾配正規化マージンおよび意思決定境界の頑健性とどのように関係するか？

主な発見

• k-分散正規化マージン境界は、PGDLチャレンジデータセットにおいて一般化誤差と強く相関しており、アーキテクチャやハイパーパrameterにわたって頑健であることが示された。
• 理論的分析から、効果的な一般化には、各クラス内での特徴のきついクラスタリングと、Wasserstein意味でのクラス間の十分な分離が両方必要であることが示された。
• 分散の代理として用いられた最適輸送コストは、標準分散やノルムに基づく測定よりも、特徴分布の構造的性質をより効果的に捉えている。
• 提案された境界は、Elsayedら[16]の勾配正規化マージンを一般化し、理論的境界と意思決定境界の頑健性を結びつける。
• 境界は緩い仮定の下で導出されており、訓練データとモデルパラメータから実験的に推定可能であり、実用的応用が可能である。
• 従来の複雑さ測定（VC次元や重みノルム）は一般化ギャップと負の相関を示すことが多いため、本手法はそれらを上回る。