[論文レビュー] mixup: Beyond Empirical Risk Minimization

Hongyi Zhang, Moustapha Cissé+2 more|arXiv (Cornell University)|Oct 25, 2017

Adversarial Robustness in Machine Learning参考文献 29被引用数 4,731

ひとこと要約

この論文は、入力とラベルのペアを内插して vicinal リスク minimization を行うシンプルな手法 mixup を提案し、ニューラルネットワークの正則化と一般化能力・頑健性を向上させる。視覚、音声、表形式データのタスクで効果を示す。

ABSTRACT

Large deep neural networks are powerful, but exhibit undesirable behaviors such as memorization and sensitivity to adversarial examples. In this work, we propose mixup, a simple learning principle to alleviate these issues. In essence, mixup trains a neural network on convex combinations of pairs of examples and their labels. By doing so, mixup regularizes the neural network to favor simple linear behavior in-between training examples. Our experiments on the ImageNet-2012, CIFAR-10, CIFAR-100, Google commands and UCI datasets show that mixup improves the generalization of state-of-the-art neural network architectures. We also find that mixup reduces the memorization of corrupt labels, increases the robustness to adversarial examples, and stabilizes the training of generative adversarial networks.

研究の動機と目的

• 大規模なニューラルネットワークにおける経験的リスク最小化（ERM）の限界を動機づける。 memorization と adversarial sensitivity を含む。
• 訓練分布を凸結合の入力-ラベル内插によって拡張する、データ非依存のシンプルな拡張法である mixup を提案する。
• mixup が ImageNet、CIFAR、音声、表形式データで一般化を改善し、破損ラベルの memorization を低減し、敵対的例に対する脆弱性を減らすことを示す。
• デザイン選択の影響をアブレーション研究を通じて探り、データ拡張と正則化の既存研究と mixup の関連を示す。

提案手法

• mixup の vicinal 分布を、2 つの訓練例と Beta 分布に従う内插係数をサンプリングして、合成入力と凸結合ラベルを形成する。
• 訓練データのこれらの合成ペア上でネットワークを学習させ、モデルの挙動が訓練例間で大体線形になるようにする。
• Alpha が 0 に近づくと ERM が回復することを示す、最小限の計算オーバーヘッドで mixup を実装する。
• 入力・ラベルの内插ターゲット、内插度、代替的な拡張戦略を評価するアブレーション研究を実施する。
• ImageNet、CIFAR-10/100、Google Commands、UCI データセットで一般化と頑健性のメリットを検証する。
• mixup が識別器の勾配を正則化することで GAN の訓練を安定化させることを示す。

実験結果

リサーチクエスチョン

• RQ1 mixup は大規模な視覚データセットや他のモダリティに対して、標準的な ERM と比較して一般化を改善するか。
• RQ2 内插強度（alpha）は訓練のダイナミクス、 memorization、破損ラベルや敵対的例への頑健性にどう影響するか。
• RQ3 mixup が GAN の安定性とパフォーマンス、音声や表形式データなどの非視覚タスクに与える影響はどうか。
• RQ4 さまざまなデザイン選択（入力 vs 潜在表現の内插、クラス間 vs 同一クラス内の混合、ラベル処理）は結果にどのような影響を与えるか。

主な発見

• Mixup は複数のアーキテクチャにおいて ImageNet および CIFAR のベンチマークで ERM より一般化性能が高い。
• Mixup は破損ラベルの memorization を低減し、白箱・ブラックボックスの両方の設定で敵対的例に対する耐性を改善する。
• Mixup は音声および表形式データセットでも頑健性を提供し、画像分類以外にも適用範囲が広いことを示す。
• アブレーション研究は、混合のターゲットが入力/ラベルのいずれかであっても、線形内插と凸結合ラベルを用いた場合に一貫して他の内插スキームを上回ることを示す。
• Mixup は識別器の勾配正則化として GAN の訓練を安定化させ、訓練の安定性を向上させる。