[論文レビュー] AutoMix: Unveiling the Power of Mixup.

Zicheng Liu, Siyuan Li+5 more|arXiv (Cornell University)|Mar 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 5

ひとこと要約

AutoMixは、識別的特徴を用いて自動的にサンプル混合ポリシーを学習するエンド・ツー・エンドで適応可能なミックスアップフレームワークを提案する。ミックスアップを合成サンプル生成とミックスアップ分類の2つの部分問題を含むプロキシタスクとして定式化する。動的勾配に基づくトレーニングパイプラインにより、6つのベンチマークで既存のミックスアップ手法を上回り、モデルの汎化性能を向上させる。

ABSTRACT

Mixup-based data augmentation has achieved great success as regularizer for deep neural networks. However, existing mixup methods require explicitly designed mixup policies. In this paper, we present a flexible, general Automatic Mixup (AutoMix) framework which utilizes discriminative features to learn a sample mixing policy adaptively. We regard mixup as a pretext task and split it into two sub-problems: mixed samples generation and mixup classification. To this end, we design a lightweight mix block to generate synthetic samples based on feature maps and mix labels. Since the two sub-problems are in the nature of Expectation-Maximization (EM), we also propose a momentum training pipeline to optimize the mixup process and mixup classification process alternatively in an end-to-end fashion. Extensive experiments on six popular classification benchmarks show that AutoMix consistently outperforms other leading mixup methods and improves generalization abilities to downstream tasks. We hope AutoMix will motivate the community to rethink the role of mixup in representation learning. The code will be released soon.

研究の動機と目的

• 既存のミックスアップ手法が固定された手作業による混合ポリシーに依存するという限界に対処すること。
• 識別的特徴に基づいて自動的かつ適応的にサンプル混合戦略を学習可能にする。
• ミックスアップのための統一的でエンド・ツー・エンドのトレーニングフレームワークを通じて、深層ニューラルネットワークの汎化性能を向上させること。
• ミックスアップを2重最適化を含むプロキシタスクとして再定式化すること：サンプル生成と分類。
• 柔軟で学習可能なフレームワークを通じて、表現学習におけるミックスアップの役割を再考すること。

提案手法

• AutoMixは、特徴マップから混合サンプルを生成し、混合サンプルを分類するという2段階のプロキシタスクとしてミックスアップを扱う。
• 特徴マップとラベル補間を用いて合成サンプルと混合ラベルを生成する軽量なミックスブロックを導入する。
• 期待値最大化に類似した最適化戦略を採用し、混合サンプルの生成と分類の改善を交互に繰り返す。
• エンド・ツー・エンドのトレーニング中に2つの部分問題の共同最適化を安定化・向上させるために、モーメンタムトレーニングパイプラインを用いる。
• 事前に定義されたハイパーパrameterを必要とせず、特徴レベルの表現を活用して混合ポリシーを適応的に学習する。
• 全プロセスをエンド・ツー・エンドでトレーニングし、データから最適な混合パターンをモデルが学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミックスアップポリシーは、手作業で設計するのではなく、データから自動的に学習可能か？
• RQ2 サンプル生成と分類を同時に学習することで、ミックスアッププロセスをエンド・ツー・エンドで最適化できるか？
• RQ3 適応的で特徴駆動のミックスアップ戦略は、下流の分類タスクにおける汎化性能を向上させるか？
• RQ4 生成と分類の間でEMに類似した交互最適化が、標準的なミックスアップと比較してモデル性能を向上させるか？
• RQ5 AutoMixは多様なベンチマークで、既存の最先端ミックスアップ手法をどの程度上回るか？

主な発見

• AutoMixは、6つの代表的な画像分類ベンチマークで、他の先進的なミックスアップ手法を一貫して上回る。
• 識別的特徴から適応的混合ポリシーを学習することで、下流タスクにおけるモデルの汎化能力が向上する。
• モーメンタムベースのトレーニングパイプラインにより、ミックスアッププロセスの安定的かつ効果的なエンド・ツー・エンド最適化が可能になる。
• ミックスアップをプロキシタスクとして再定式化することで、サンプル生成と分類の共同最適化を通じて、より良い表現学習が達成される。
• アブレーションスタディにより、提案手法の設計選択（ミックスブロックやモーメンタムトレーニングなど）がパフォーマンス向上に不可欠であることが確認された。