[論文レビュー] A Survey on Mixup Augmentations and Beyond

Xin Jin, Hongyu Zhu+7 more|arXiv (Cornell University)|Sep 8, 2024

Advanced Data Compression Techniques被引用数 5

ひとこと要約

この調査は基礎的な Mixup 手法と拡張をレビューし、視覚、NLP、グラフ、そしてそれ以降の分野を跨ぐサンプルベースおよびラベルベースの Mixup 戦略を統一的なフレームワークとして提示し、応用、制限、および今後の方向性について議論します。

ABSTRACT

As Deep Neural Networks have achieved thrilling breakthroughs in the past decade, data augmentations have garnered increasing attention as regularization techniques when massive labeled data are unavailable. Among existing augmentations, Mixup and relevant data-mixing methods that convexly combine selected samples and the corresponding labels are widely adopted because they yield high performances by generating data-dependent virtual data while easily migrating to various domains. This survey presents a comprehensive review of foundational mixup methods and their applications. We first elaborate on the training pipeline with mixup augmentations as a unified framework containing modules. A reformulated framework could contain various mixup methods and give intuitive operational procedures. Then, we systematically investigate the applications of mixup augmentations on vision downstream tasks, various data modalities, and some analysis \& theorems of mixup. Meanwhile, we conclude the current status and limitations of mixup research and point out further work for effective and efficient mixup augmentations. This survey can provide researchers with the current state of the art in mixup methods and provide some insights and guidance roles in the mixup arena. An online project with this survey is available at https://github.com/Westlake-AI/Awesome-Mixup.

研究の動機と目的

• 統一フレームワークの下で Mixup 手法とその系統をタイムリーに概要する。
• サンプルレベルとラベルレベルの Mixup 戦略が異なるタスクとモダリティでどのように機能するかを分析する。
• 視覚、NLP、グラフ、音声/スピーチの分野における Mixup の応用と理論的知見を要約する。
• 現在の制限を特定し、効果的で効率的な Mixup 増強法の方向性を提案する。

提案手法

• Mixup を初期化、サンプルミックスアップポリシー、ラベルミックスアップポリシー、チャネルミックスアップポリシーというモジュールを持つパイプラインとして統一フレームワークを提示する。
• ミックスアップ手法をカテゴリに分類する（Static Linear, Feature-based, Cutting-based, K Samples, Random Policies, Style-based, Saliency-based, Attention-based, Generating Samples）し、監視付き、自己教師あり、半教師付き設定およびデータモダリティ間で適用する。
• 混合の主要な式を説明する: - Basic Mixup: x_hat = lambda x_i + (1-lambda) x_j, y_hat = lambda y_i + (1-lambda) y_j - Feature/mask-based and patch-based variants with masks and propagated losses.
• 下流タスクへの適用と Mixup が CV、NLP、Graph、Speech にどのように適用されるか、キャリブレーションと損失の考慮を含めて要約する。
• Mixup の生成的、スタイル転写、顕著性ガイド、エンドツーエンドで学習されたマスクアプローチを論じる。

実験結果

リサーチクエスチョン

• RQ1 異なるトレーニングパラダイムとデータモダリティにわたる Mixup 手法の主要なカテゴリとメカニズムは何か。
• RQ2 サンプルベースとラベルベースの Mixup 戦略は設計・最適化・モデルのキャリブレーションとロバスト性への影響の点でどう異なるか。
• RQ3 CV、NLP、グラフ、音声領域における Mixup 技術の主な応用と制限は何か。
• RQ4 より広い有効性と効率を実現するために Mixup 研究を統合・推進する将来の方向性は何か。

主な発見

• Mixup 手法は初期化、サンプルポリシー、ラベルポリシー、チャネルポリシーという統一的なパイプラインに整理される。
• 広範な分類は static、feature-based、cutting-based、multi-sample、style-based、saliency-guided、attention-based、generative-sample アプローチを含む。
• Mixup は監視付き、自己教師付き、半教師付きタスクおよび CV、NLP、グラフ、スピーチを含む複数のモダリティに適用されてきた。
• ラベルベースの戦略にはキャリブレーションを意識した損失、領域ベースの混合比、信頼度とロバスト性を向上させる新しい損失関数が含まれる。
• 複数サンプル混合、ドメインロバストネス、OOD シナリオに対処するためのスタイル転写、顕著性、および適応マスキングを通じた方法がいくつかある。