[論文レビュー] Manifold Mixup: Encouraging Meaningful On-Manifold Interpolation as a Regularizer.

Vikas Verma, Alex Lamb+4 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用数 44

ひとこと要約

マニフォールドミックスアップは、隠れ表現の凸結合で訓練することで、データマニフォールド上での意思決定境界を滑らかにし、深層学習の一般化性能を向上させる。これにより、半教師あり学習、 adversarial な例に対する耐性、限られたラベル付きデータでの性能向上が達成され、推論コストの増加なしに実現される。

ABSTRACT

Deep networks often perform well on the data manifold on which they are trained, yet give incorrect (and often very confident) answers when evaluated on points from off of the training distribution. This is exemplified by the adversarial examples phenomenon but can also be seen in terms of model generalization and domain shift. We propose Manifold Mixup which encourages the network to produce more reasonable and less confident predictions at points with combinations of attributes not seen in the training set. This is accomplished by training on convex combinations of the hidden state representations of data samples. Using this method, we demonstrate improved semi-supervised learning, learning with limited labeled data, and robustness to adversarial examples. Manifold Mixup requires no (significant) additional computation. Analytical experiments on both real data and synthetic data directly support our hypothesis for why the Manifold Mixup method improves results.

研究の動機と目的

• 分布外またはレアな属性の組み合わせに対して、深層ネットワークが過信しすぎた誤った予測を行う問題に対処すること。
• 特にドメインシフトや半教師あり学習設定下でのモデルの一般化性能と耐性を向上させること。
• 計算コストの増加なしに、データマニフォールド内での意味のある補間を促進する正則化手法を開発すること。
• 隠れ特徴の構造的補間を通じて、モデルの信頼性の高いキャリブレーションと adversarial な耐性を向上させる手法を提供すること。

提案手法

• 本手法は、生の入力データではなく、異なるデータサンプルからの隠れ層表現の凸結合で訓練を行う。
• 隠れ特徴空間における補間を適用することで、モデルがデータマニフォールドに沿って滑らかに一般化するように正則化する。
• 補間係数はベータ分布に従い、標準的なミックスアップと同様の方法だが、隠れ層レベルに適用される。
• 標準的なバックプロパゲーションを用いたエンドツーエンドの訓練であり、計算オーバーヘッドの顕著な増加はない。
• このアプローチにより、ネットワークがデータマニフォールドのより構造的かつ連続的な表現を学ぶことを暗黙的に促進する。

実験結果

リサーチクエスチョン

• RQ1 隠れ表現の補間は、分布外やレアな属性の組み合わせにおけるモデルの一般化性能を向上させるか？
• RQ2 隠れ空間における補間で訓練することで、adversarial な例に対する耐性が向上するか？
• RQ3 マニフォールドミックスアップは、半教師あり学習や低データ環境においてどの程度性能を向上させるか？
• RQ4 キャリブレーションと耐性の観点から、標準的なミックスアップや他の正則化手法と比較して、マニフォールドミックスアップはどのように異なるか？

主な発見

• マニフォールドミックスアップは、半教師あり学習ベンチマークで最先端の性能を達成し、標準的なミックスアップや他の正則化手法を上回る。
• この手法は adversarial な耐性を向上させ、テストデータにおける adversarial 攻撃の成功率を低下させる。
• モデルのキャリブレーションが向上し、分布外（OOD）サンプルに対する信頼性の高い信頼度推定が可能になる。
• 低データ環境でも一貫した改善が得られ、より優れたサンプル効率を示す。