[論文レビュー] AutoMix: Unveiling the Power of Mixup for Stronger Classifiers

Zicheng Liu, Siyuan Li+5 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

AutoMixは、画像分類の精度向上を目的とした、エンド・ツー・エンドで最適化可能なバイレベル最適化フレームワークを提案する。混合サンプル生成と分類を、学習可能なミックスブロックとモーメンタムパイプラインによって分離することで、計算コストを最小限に抑えつつ、9つのベンチマークで最先端の精度を達成した。従来の手作業で設計されたあるいは最適化に基づくミックスアップ手法を上回る。

ABSTRACT

Data mixing augmentation have proved to be effective in improving the generalization ability of deep neural networks. While early methods mix samples by hand-crafted policies (e.g., linear interpolation), recent methods utilize saliency information to match the mixed samples and labels via complex offline optimization. However, there arises a trade-off between precise mixing policies and optimization complexity. To address this challenge, we propose a novel automatic mixup (AutoMix) framework, where the mixup policy is parameterized and serves the ultimate classification goal directly. Specifically, AutoMix reformulates the mixup classification into two sub-tasks (i.e., mixed sample generation and mixup classification) with corresponding sub-networks and solves them in a bi-level optimization framework. For the generation, a learnable lightweight mixup generator, Mix Block, is designed to generate mixed samples by modeling patch-wise relationships under the direct supervision of the corresponding mixed labels. To prevent the degradation and instability of bi-level optimization, we further introduce a momentum pipeline to train AutoMix in an end-to-end manner. Extensive experiments on nine image benchmarks prove the superiority of AutoMix compared with state-of-the-art in various classification scenarios and downstream tasks.

研究の動機と目的

• ミックスアップデータオーグメンテーションにおける、正確なミキシングポリシーと高い最適化複雑性のトレードオフを解消すること。
• 混合サンプル生成と分類を、一括で学習可能なエンド・ツー・エンドのフレームワークに統合すること。
• 生成と分類のサブネットワークのトレーニングを分離することで、モデルの汎化性能と安定性を向上させること。
• 手作業で設計されたあるいはサリエンシー誘導型のミキシング戦略に依存せず、学習可能でタスク駆動のポリシーに置き換えること。
• 推論コストを増加させることなく、多様なデータセットおよびネットワークアーキテクチャにおいて優れた性能を発揮すること。

提案手法

• AutoMixはミックスアップトレーニングを、混合サンプル生成とミックスアップ分類の2つのサブタスクに再定式化し、バイレベル最適化フレームワークで解決する。
• パラメータが学習可能で軽量なモジュール「Mix Block」により、ペアド入力の特徴マップを用いたクロスアテンションでピクセル単位の関係をモデル化し、混合サンプルを生成する。
• 混合ラベルに対する直接的な監督のもとでMix Blockを学習させることで、分類目的と整合性を保証する。
• 生成と分類のタスクの最適化を分離・安定化させるために、モーメンタムパイプラインを導入する。これにより、勾配の混合を防ぎ、モデルの崩壊を回避する。
• ハイパーパラメータα（ベータ分布）と特徴層lを制御パrameterとして用い、Mix Blockと分類ヘッドをエンド・ツー・エンドで同時に最適化する。
• 組み合わせ最適化に類似した高コストなアプローチを避けるために、直接的に分類損失に向かってミックスアップポリシーを最適化する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドで学習可能なミックスアップポリシーは、手作業で設計されたあるいはサリエンシー誘導型のミックスアップ手法よりも、精度と効率性の面で優れているか？
• RQ2 混合サンプル生成を分類トレーニングから効果的に分離することで、安定性と性能を向上させることは可能か？
• RQ3 異なる特徴層とミキシング比の分布が、AutoMixの汎化能力に与える影響は何か？
• RQ4 提案されたモーメンタムパイプラインは、生成と分類のタスクにおけるバイレベル最適化を効果的に安定化させることができるか？
• RQ5 AutoMixは、視覚変換器やResNetを含む多様なデータセットおよびネットワークアーキテクチャに一般化可能か？

主な発見

• AutoMixは、CIFAR-10/100、Tiny-ImageNet、ImageNet-1k、CUB-200、FGVC-Aircraft、iNaturalist2017/2018、Places205を含む9つの画像分類ベンチマークで最先端の性能を達成した。
• ImageNet-1kにおいて、ResNet-18を用いてCutMixよりも最大1.2%、PuzzleMixよりも0.8%高いトップ1精度を達成した。
• ResNet-50を用いた場合、Tiny-ImageNetでは70.72%のトップ1精度を達成し、MixUp（63.86%）とCutMix（66.36%）を上回った。
• アブレーションスタディの結果、α=2および特徴層l₃が、精度と複雑性の間で最良のトレードオフを実現することが確認された。
• PuzzleMixのような組み合わせ最適化に基づく手法と比較して、トレーニング時間を最大70%短縮したが、依然として高い精度を維持した。
• モーメンタムパイプラインは、Mix Blockが自明な解に収束するのを防ぐことで、トレーニングの安定性を顕著に向上させた。