[論文レビュー] Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup

Siyuan Li, Zicheng Liu+4 more|arXiv (Cornell University)|Nov 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 13

ひとこと要約

本稿では、教師ありおよび自己教師あり視覚表現学習の両方を統合的に扱うためのフレームワーク、Scenario-Agnostic Mixup (SAMix) を提案する。SAMix は、新たな $η$-バランス損失とラベルなし Mixer ネットワークを用いて、ミックスアップ生成を向上させる。局所的な滑らかさとグローバルな識別性を同時に最適化することで、高品質で自明でない混合サンプルを生成し、9つの教師あり学習（SL）および自己教師あり学習（SSL）ベンチマークで一貫した性能向上を達成し、一般化性能と効率性が向上する。

ABSTRACT

Mixup is a well-known data-dependent augmentation technique for DNNs, consisting of two sub-tasks: mixup generation and classification. However, the recent dominant online training method confines mixup to supervised learning (SL), and the objective of the generation sub-task is limited to selected sample pairs instead of the whole data manifold, which might cause trivial solutions. To overcome such limitations, we comprehensively study the objective of mixup generation and propose extbf{S}cenario- extbf{A}gnostic extbf{Mix}up (SAMix) for both SL and Self-supervised Learning (SSL) scenarios. Specifically, we hypothesize and verify the objective function of mixup generation as optimizing local smoothness between two mixed classes subject to global discrimination from other classes. Accordingly, we propose $η$-balanced mixup loss for complementary learning of the two sub-objectives. Meanwhile, a label-free generation sub-network is designed, which effectively provides non-trivial mixup samples and improves transferable abilities. Moreover, to reduce the computational cost of online training, we further introduce a pre-trained version, SAMix$^\mathcal{P}$, achieving more favorable efficiency and generalizability. Extensive experiments on nine SL and SSL benchmarks demonstrate the consistent superiority and versatility of SAMix compared with existing methods.

研究の動機と目的

• 既存のオンラインミックスアップ手法が、局所的なサンプルペアに限定された生成目的に起因して自明な解を生じるという制限を解消すること。
• 混合クラス間の局所的滑らかさと他のすべてのクラスからのグローバルな識別性をバランスさせる、統一されたミックスアップ生成目的を設計すること。
• 自己教師あり学習（SSL）シナリオにおけるより広範な適用可能性を実現するため、ミックスアップ生成におけるラベル依存性を排除すること。
• 下流タスクにおける計算効率と転移可能性を向上させるために、事前学習されたバージョン、SAMix P を導入すること。
• 教師あり学習と自己教師あり学習の両方において、オンラインおよび事前学習済みのトレーニングパイプラインを統合し、一貫した性能向上を達成すること。

提案手法

• 局所的滑らかさ（2つの混合クラス間）とグローバルな識別性（すべての他のクラスから）の両方の目的を明示的にバランスさせる $η$-バランスミックスアップ損失を提案する。
• クラスラベルを必要としない、混合注意と非線形的コンテンツモデリングを備えたラベルなし Mixer ネットワークを導入し、ラベルなしで多様で自明でない混合サンプルを生成する。
• SL および SSL タスクの両方のオンラインおよび事前学習済みトレーニングパイプラインをサポートする、シナリオに依存しないフレームワーク、SAMix を設計する。
• 固定された Mixer を使用する事前学習バージョン、SAMix P を採用し、高い性能と一般化能力を維持しながらトレーニングを高速化する。
• 特徴マップと学習可能な混合比を用いて、潜在空間におけるエンドツーエンドで適応的なミックスアップ生成を可能にする。
• ミックスアップを表現学習目的に統合することで、教師ありおよび対照的自己教師あり学習の両方の分野にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 局所的滑らかさとグローバルな識別性を同時に最適化するようなミックスアップ生成目的を設計できるか、それが表現学習を向上させられるか？
• RQ2 ラベルなしで学習可能なミックスアップジェネレータは、どのように自明な解を回避し、SL および SSL シナリオにわたって一般化できるか？
• RQ3 統一的でシナリオに依存しないミックスアップフレームワークは、教師ありおよび自己教師ありの視覚タスクにおいて、性能と効率性をどの程度向上できるか？
• RQ4 事前学習済みミックスアップジェネレータは、下流タスクにおいて計算コストを削減しつつ、競争力のある性能を達成できるか？
• RQ5 提案された $η$-バランス損失は、ミックスアップ生成における局所的およびグローバルな目的のトレードオフを効果的にバランスできるか？

主な発見

• SAMix は、9つの多様な SL および SSL ベンチマークで一貫した性能向上を示し、タスクおよびモデルにわたる強力な一般化性能を実証した。
• 提案された $η$-バランス損失は、局所的滑らかさとグローバルな識別性をバランスさせることで、ミックスアップ生成を著しく向上させ、より良い表現学習を実現した。
• ラベルなし Mixer ネットワークは、クラスラベルがなくても自明な解を効果的に回避し、意味的に意味のある高品質な混合サンプルを生成した。
• 事前学習バージョンである SAMix P は、分類タスクにおいて SAMix と同等またはわずかに高い精度を達成しながら、優れた効率性と転移可能性を示した。
• 可視化結果から、SAMix は PuzzleMix や AutoMix といった先行手法と比較して、より意味的に整合性があり、細分化された混合サンプルを生成することがわかった。
• 広範なアブレーションスタディにより、$η$-バランス損失およびラベルなし Mixer の両方が、複数のデータセットおよびアーキテクチャで下流性能の向上に有効であることが確認された。