[論文レビュー] Towards Understanding the Data Dependency of Mixup-style Training

Muthu Chidambaram, Xiang Wang+3 more|arXiv (Cornell University)|Oct 14, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用数 7

ひとこと要約

この論文は、マルチクラス分類におけるMixup学習のデータ依存性を調査し、その実証的成功にもかかわらず、特定のデータセットでは経験的リスクを最小化できないことがあることを示している。Mixup最適分類器の閉形式解を導出し、経験的リスク最小化を達成する十分条件を同定するとともに、特に高次元データにおける線形モデルでのマージン最大化による一般化の向上を分析している。

ABSTRACT

In the Mixup training paradigm, a model is trained using convex combinations of data points and their associated labels. Despite seeing very few true data points during training, models trained using Mixup seem to still minimize the original empirical risk and exhibit better generalization and robustness on various tasks when compared to standard training. In this paper, we investigate how these benefits of Mixup training rely on properties of the data in the context of classification. For minimizing the original empirical risk, we compute a closed form for the Mixup-optimal classification, which allows us to construct a simple dataset on which minimizing the Mixup loss can provably lead to learning a classifier that does not minimize the empirical loss on the data. On the other hand, we also give sufficient conditions for Mixup training to also minimize the original empirical risk. For generalization, we characterize the margin of a Mixup classifier, and use this to understand why the decision boundary of a Mixup classifier can adapt better to the full structure of the training data when compared to standard training. In contrast, we also show that, for a large class of linear models and linearly separable datasets, Mixup training leads to learning the same classifier as standard training.

研究の動機と目的

• Mixup学習が経験的リスク最小化を達成するか、それとも失敗するかに影響を与えるデータおよびモデルの条件を理解すること。
• Mixup学習が経験的リスク最小化に至る十分条件を同定し、標準ベンチマーク上でその妥当性を検証すること。
• 正則化に基づく理論とは補完的な視点を提供するために、Mixupがマージンを最大化することで一般化とロバストネスをどのように向上させるかを分析すること。
• 高次元ガウス分布データにおける線形モデルにおいて、Mixupと標準学習が等価であることを検証し、わずかな条件下で同じ分類器を学習することを示すこと。
• Mixupが経験的リスク最小化に失敗する明確な反例を提示し、Mixupの利点が事前に保証されないことを示すこと。

提案手法

• 十分に豊富な関数クラス上でのMixup最適分類器の閉形式表現を導出し、その挙動の理論的分析を可能にする。
• 連続的なMixup損失の最小化子が元の経験的リスクを最小化しない合成データセットを構築し、Mixupが常にERMを達成しないことを証明する。
• Mixup学習が経験的リスク最小化を達成する十分条件を確立し、これらの条件が標準的な画像分類データセットにおいて概ね成立することを示す。
• Mixup分類器のマージンを分析することで、一般化とロバストネスの向上を説明し、特にデータの幾何的構造との関連を明らかにする。
• 高次元ガウス特徴量上で線形モデルを学習する場合、Mixupと勾配降下法を用いた標準ERMは高確率で同じ分類器に収束することを証明する。
• データポイントの凸結合上でのMixup損失の強い凸性を分析し、一意な最小化子の存在を保証し、理論的安定性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 Mixup学習の性能は、特に経験的リスク最小化の観点で、根本的なデータ分布にどのように依存するか？
• RQ2 どのようなデータおよびモデルの条件下で、Mixup学習が元の経験的リスク最小化を明示的に達成できるか？
• RQ3 Mixupは一般化とロバストネスをどのように向上させるか？正則化に基づく解釈とは別に、形式的にどのように特徴づけられるか？
• RQ4 Mixup学習が経験的リスク最小化に失敗する状況は存在するか？このような失敗を明示的に構築できるか？
• RQ5 高次元データにおける線形モデルでは、Mixup学習と標準学習が異なる分類器を学習するのか、それとも同じ解に収束するのか？

主な発見

• 経験的リスクを最小化しない合成データセットを構築し、Mixupが経験的リスク最小化に失敗しうることを示した。
• Mixup最適分類器の閉形式解を導出し、異なるデータ分布下での挙動を正確に分析可能にした。
• 弱い非退化条件のもとで、Mixup学習が経験的リスク最小化を明示的に達成できることを示し、これらの条件が標準的な画像ベンチマークでも概ね成立することを示した。
• Mixup分類器のマージンを特徴づけ、標準学習よりもデータ全体の構造に適応しやすいことを示し、一般化の向上を説明した。
• 高次元ガウス特徴量上で線形モデルを学習する場合、Mixupと標準ERM（勾配降下法）は高確率で同じ分類器に収束する。
• データポイントの凸結合上でのMixup損失の強い凸性を証明し、一意な最小化子の存在を保証し、理論的安定性を裏付けた。