[論文レビュー] Harnessing Hard Mixed Samples with Decoupled Regularizer

Zicheng Liu, Siyuan Li+4 more|arXiv (Cornell University)|Mar 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、決定境界の滑らかさと特徴の識別性の両立を最適化する新しいミックスアップ目的関数であるデカップルドミックスアップ（DM）を提案する。DMは、明示的に識別的特徴を有するがラベル重みが低い「ハードなミックスサンプル」を活用するためのデカップルド正則化項を導入し、従来のステータックミックスアップ手法の性能を向上させる。動的ミックスアップ手法が混合マスクの最適化に高コストを要するのに対し、DMは追加計算を伴わず、損失関数の再考により意思決定境界の滑らかさと特徴の識別性の両立を達成し、最先端の動的手法と同等またはそれ以上の性能を達成する。

ABSTRACT

Mixup is an efficient data augmentation approach that improves the generalization of neural networks by smoothing the decision boundary with mixed data. Recently, dynamic mixup methods have improved previous static policies effectively (e.g., linear interpolation) by maximizing target-related salient regions in mixed samples, but excessive additional time costs are not acceptable. These additional computational overheads mainly come from optimizing the mixed samples according to the mixed labels. However, we found that the extra optimizing step may be redundant because label-mismatched mixed samples are informative hard mixed samples for deep models to localize discriminative features. In this paper, we thus are not trying to propose a more complicated dynamic mixup policy but rather an efficient mixup objective function with a decoupled regularizer named Decoupled Mixup (DM). The primary effect is that DM can adaptively utilize those hard mixed samples to mine discriminative features without losing the original smoothness of mixup. As a result, DM enables static mixup methods to achieve comparable or even exceed the performance of dynamic methods without any extra computation. This also leads to an interesting objective design problem for mixup training that we need to focus on both smoothing the decision boundaries and identifying discriminative features. Extensive experiments on supervised and semi-supervised learning benchmarks across seven datasets validate the effectiveness of DM as a plug-and-play module. Source code and models are available at https://github.com/Westlake-AI/openmixup

研究の動機と目的

• 混合マスクの最適化に高い計算コストを要する動的ミックスアップ手法の非効率性を是正すること。
• 標準的なミックスアップにおいて、あるクラスの顕著な特徴を有するがラベル重みが低い「ラベル不一致ハードミックスサンプル」が十分に活用されていないかを調査すること。
• 静的ミックスアップが、これらの情報価値の高いハードサンプルを適応的に活用しつつ、意思決定境界の滑らかさを維持できる新しい損失関数を提案すること。
• 性能向上の鍵が複雑な混合ポリシーにあるのではなく、滑らかさと識別的特徴抽出の両立を最適化する損失関数設計にあることを示すこと。
• DMを既存の静的ミックスアップフレームワークに即座に統合可能とするため、教師ありおよび半教師あり学習の両環境に適用可能であるようにすること。

提案手法

• 標準的な混合クロスエントロピー（MCE）損失にデカップルド正則化項を導入し、各クラスの予測確率を混合サンプル内で独立して計算可能にする。
• 損失を2つの成分にデカップルする：ラベルの一貫性を保証するMCEと、識別的特徴活性化を促進するデカップルド正則化。これにより、ラベル重みが低くても顕著な特徴に対して高い信頼度を割り当てられる。
• 訓練中にデカップルド損失を適用し、ハードなミックスサンプル内の識別的特徴を局所化し、自信を持って応答するようモデルを促進する。
• クラスアクティベーションマッピング（CAM）の可視化を用いて、DMが標準的なMCE損失とは異なり、ハードサンプル内の顕著な領域に注目できるようにすることを確認する。
• MixupやCutMixなどのさまざまな静的ミックスアップ手法にDMを統合し、最小限の変更で半教師あり学習に拡張する。
• CNNおよびビジョントランスフォーマーアーキテクチャを用いて、CIFAR-100、ImageNet、RSBを含む7つのベンチマークでDMを評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル重みが低いが顕著な特徴を有するハードミックスサンプルを、追加の最適化オーバーヘッドなしにミックスアップ学習で効果的に活用できるか？
• RQ2 混合ポリシーではなく損失関数の再考が、ミックスアップ学習における性能向上に寄与するか？
• RQ3 デカップルドミックスアップ（DM）のようなシンプルで即座に統合可能な目的関数が、複雑な動的ミックスアップ手法を凌駐し、追加計算なしに同等またはそれ以上の性能を達成できるか？
• RQ4 デカップルド正則化項が、ミックスアップ学習における特徴の識別性向上と意思決定境界の滑らかさの両立に有効であるか？
• RQ5 DMは半教師あり学習に一般化可能であり、確認バイアスを低減し、データ効率を向上させることができるか？

主な発見

• DeiT-Smallを用いたCIFAR-100では、DMは200エポックで76.20%のトップ-1精度、600エポックで79.92%を達成し、同じ訓練環境下でAutoMixやSAMixといった動的手法を上回る最先端の性能を示した。
• ConvNeXt-Tinyを用いた実験では、200エポックで83.44%、600エポックで84.49%のトップ-1精度を達成し、追加計算コストなしにAutoMixやSAMixなどの動的ミックスアップ手法と同等またはそれ以上の性能を発揮した。
• 半教師あり学習において、DMはデカップルド正則化項のおかげで未ラベルデータを効果的に活用し、確認バイアスを低減し、性能を顕著に向上させた。
• クラスアクティベーションマッピング（CAM）の可視化により、DMが標準的なMCE損失とは異なり、ハードミックスサンプル内の顕著な特徴に注目できることが確認された。
• アブレーションスタディの結果、DMの性能向上は静的ミックスアップ手法と組み合わせた際に顕著に現れ、動的ミックスアップとの比較では改善が限定的であった。これは、動的ミックスアップがもともとハードサンプルをあまり生成しないことによるものである。
• DMは計算効率に優れる：CIFAR-100でConvNeXt-Tinyを用いた600エポックの学習は、単一のA100 GPUで10時間で完了した。これに対し、AutoMixは56〜59時間かかっていたため、スケーラビリティが顕著に優れている。