[論文レビュー] Co-Mixup: Saliency Guided Joint Mixup with Supermodular Diversity

Jang-Hyun Kim, Wonho Choo+2 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Neural Network Applications参考文献 37被引用数 16

ひとこと要約

Co-Mixup は、個々のミックスアップ例の重要度とバッチ全体におけるスーパーモジュラスな多様性を同時に最適化することで、重要度に配慮した多様性正則化付きバッチミックスアップ手法を提案する。これは、新たなサブモジュラル・スーパーモジュラル離散最適化問題を定式化し、効率的な反復的アルゴリズムを導入することで、CIFAR-100、Tiny-ImageNet、ImageNet、Google Commands データセットにおいて一般化性能、キャリブレーション性能、弱教師付き局所化性能の面で最先端の性能を達成する。

ABSTRACT

While deep neural networks show great performance on fitting to the training distribution, improving the networks' generalization performance to the test distribution and robustness to the sensitivity to input perturbations still remain as a challenge. Although a number of mixup based augmentation strategies have been proposed to partially address them, it remains unclear as to how to best utilize the supervisory signal within each input data for mixup from the optimization perspective. We propose a new perspective on batch mixup and formulate the optimal construction of a batch of mixup data maximizing the data saliency measure of each individual mixup data and encouraging the supermodular diversity among the constructed mixup data. This leads to a novel discrete optimization problem minimizing the difference between submodular functions. We also propose an efficient modular approximation based iterative submodular minimization algorithm for efficient mixup computation per each minibatch suitable for minibatch based neural network training. Our experiments show the proposed method achieves the state of the art generalization, calibration, and weakly supervised localization results compared to other mixup methods. The source code is available at https://github.com/snu-mllab/Co-Mixup.

研究の動機と目的

• 訓練データ内の顕著な領域からの監視信号を十分に活用できない既存のミックスアップ手法の限界を解消すること。
• 個々のミックスアップ例の重要度とバッチ全体の多様性を同時に最適化することで、モデルの一般化性能とロバストネスを向上させること。
• 個々のミックスアップ例の重要度を最大化するとともに、集団的な多様性を促進する原理的で明確な離散最適化問題を定式化すること。
• エンドツーエンドの深層学習訓練に適した、サブモジュラル最小化に適した効率的かつミニバッチ対応のアルゴリズムを開発すること。

提案手法

• サブモジュラル関数とスーパーモジュラル関数の差を最小化する新しい離散最適化問題を提案し、ミックスアップデータにおける重要度と多様性のバランスをとる。
• 最適化を実行可能かつ効率的に行うために、スーパーモジュラル項のモジュラー近似を導入する。
• 各ミニバッチごとに最適なミックスアップ組み合わせを計算するために、反復的サブモジュラル最小化アルゴリズムを採用する。
• 事前学習済みネットワークから得られる重要度マップを用いて、入力データ全体における顕著な領域を特定・優先順位付けする。
• 空間的・意味的整合性を保ちながら、複数の入力から顕著な領域を組み合わせてミックスアップ例を構築する。
• 得られたミックスアップデータにソフトラベルを適用し、訓練中にモデルの一般化性能とキャリブレーション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の入力データから顕著な領域を最適に組み合わせて、高品質なミックスアップ例を生成するにはどうすればよいか？
• RQ2 個々のミックスアップ例の重要度を最大化しつつ、バッチ全体の多様性を確保する最適なトレードオフは何か？
• RQ3 離散的サブモジュラル・スーパーモジュラル最適化フレームワークは、従来のヒューリスティックな混合戦略を凌駕するミックスアップ性能を実現できるか？
• RQ4 顕著な領域同士の相互配置情報を取り入れることで、モデルの一般化性能とロバストネスにどのような影響を与えるか？
• RQ5 提案手法は、弱教師付きオブジェクト局所化およびバックグラウンドの不正な変更に対するロバストネスにおいて、既存のミックスアップベースラインを上回るか？

主な発見

• ImageNet において、Co-Mixup はトップ1誤差率 20.45% を達成し、次に優れたベースライン（Puzzle Mix）を 0.74 パcent point 以上上回った。
• CIFAR-100 では、4つの入力を使用した場合にトップ1誤差率を 19.87% まで低下させ、すべてのベースライン（Input Mixup: 23.12%、CutMix: 22.20%）を大きく上回った。
• 弱教師付きオブジェクト局所化において、PASCAL VOC 2012 で 54.3% の mAP を達成し、次に優れた手法を 2.1 パcent point 以上上回った。
• バックグラウンドの不正な変更に対するロバストネスにおいて、ランダム置換ではトップ1誤差率を 2.86% 減少、ガウスノイズでは 3.33% 減少させ、アンサンブルモデルを上回った。
• アブレーションスタディの結果、重要度や多様性制約なしに複数の入力を混合すると性能が劣化することが判明し、提案された最適化フレームワークの必要性が裏付けられた。
• 提案されたモジュラー近似と反復的サブモジュラル最小化アルゴリズムは、ミニバッチ学習に適した効率的な計算を実現し、標準的な深層学習パイプラインへの実用的導入を可能にした。