[論文レビュー] Negative Data Augmentation

Abhishek Sinha, Kumar Ayush+4 more|arXiv (Cornell University)|Feb 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 8

ひとこと要約

本稿では、分布外（OOD）のサンプルを、分布内データに構造的変換（例：ジャイガーやカットアウト）を適用することで生成する、ネガティブ・データオーグメンテーション（NDA）という手法を紹介する。これらのOODサンプルを弱い教師信号として用いることで、GANの訓練および対照的自己教師あり表現学習が向上し、画像生成、異常検出、分類や行動認識といった下流のビジョンタスクにおいて、最先端の性能を達成する。

ABSTRACT

Data augmentation is often used to enlarge datasets with synthetic samples generated in accordance with the underlying data distribution. To enable a wider range of augmentations, we explore negative data augmentation strategies (NDA)that intentionally create out-of-distribution samples. We show that such negative out-of-distribution samples provide information on the support of the data distribution, and can be leveraged for generative modeling and representation learning. We introduce a new GAN training objective where we use NDA as an additional source of synthetic data for the discriminator. We prove that under suitable conditions, optimizing the resulting objective still recovers the true data distribution but can directly bias the generator towards avoiding samples that lack the desired structure. Empirically, models trained with our method achieve improved conditional/unconditional image generation along with improved anomaly detection capabilities. Further, we incorporate the same negative data augmentation strategy in a contrastive learning framework for self-supervised representation learning on images and videos, achieving improved performance on downstream image classification, object detection, and action recognition tasks. These results suggest that prior knowledge on what does not constitute valid data is an effective form of weak supervision across a range of unsupervised learning tasks.

研究の動機と目的

• データがどのようなものでないかに関する事前知識を活用することで、自己教師あり学習における有効なインダクティブバイアスの欠如を是正すること。
• データ分布の境界をモデルに知らせるために、サポート領域が真のデータ分布 $p_{\text{data}}$ と不一致であるネガティブ・データ分布 $\overline{p}$ を形式化する新しいデータオーグメンテーション戦略を定式化すること。
• ネガティブ・サンプルを弱い教師信号として組み込むことで、生成モデリングおよび自己教師あり表現学習を向上させること。
• 理論的および実験的に、NDAが多様なビジョンタスクにおいてモデルの汎化性能と性能を向上させることを検証すること。

提案手法

• 構造的整合性を破壊する変換（例：ジャイガーやカットアウト）を用いて、真のデータ分布 $p_{\text{data}}$ とサポート領域が不一致であるネガティブ・データ分布 $\overline{p}$ を定義する。
• GAN訓練においてNDAサンプルを追加の偽データとして統合し、識別器が通常の増強データとNDAによって生成されたOODサンプルの両方を区別するように学習させる。
• 生成器がNDA出力に類似したサンプルを生成することを妨げるようバイアスをかける修正されたGAN目的関数を提案する。これにより生成品質が向上する。
• MoCo-v2 や DPC といったモデルにおける分布内サンプルとNDAサンプルの表現の不一致を強制することで、NDAを対照的自己教師あり学習に適応する。
• 標準的なデータオーグメンテーション技術（例：mixup、cutout）をNDA戦略として採用し、画像または動画フレーム全体に一貫して適用してOODサンプルを生成する。
• 理論的分析により、有効なNDAの仮定が成り立つ限り、無限のデータの極限において、修正されたGAN目的関数を最適化しても真のデータ分布が回復することを示す。

実験結果

リサーチクエスチョン

• RQ1 構造的変換を用いて生成された分布外サンプルは、自己教師あり学習における有効なインダクティブバイアスとして機能するか？
• RQ2 ネガティブ・データオーグメンテーションを組み込むことで、無条件および条件付き画像生成におけるGANのような生成モデルの品質が向上するか？
• RQ3 NDAは画像および動画における自己教師あり表現学習を向上させ、下流タスクにおける性能向上をもたらすか？
• RQ4 性能および汎化性能の観点から、NDAは標準的なデータオーグメンテーションや他の対照学習目的関数と比較して優れているか？
• RQ5 異なる学習目的に対して、最も効果的なNDA戦略をもたらすデータ変換の種類は何か？

主な発見

• NDAで訓練されたモデルは、画像生成、画像変換、異常検出において、NDAなしのベースラインモデルを上回る最先端の性能を達成する。
• CIFAR-10では、NDAによりInceptionスコアが91.20から91.66に、FIDが12.85から12.51に向上し、サンプル品質および多様性が向上していることが示された。
• 対照的自己教師あり学習（MoCo-v2）では、ジャイガーやカットアウトを用いたNDAにより、ImageNet-100のトップ-1正答率が69.41%から70.01%に向上した。
• Pascal VOCにおけるオブジェクト検出では、mixup NDAを用いたMoCoが、APを38.47から38.72、AP50を65.99から66.23、AP75を38.81から39.16に向上させた。
• DPCを用いた動画表現学習では、ジャイガーやcutmixを用いたNDAにより、UCF101のトップ-1正答率が61.35%から64.54%に、HMDB51が45.31%から48.43%に向上した。
• NDAは、顕著な計算コストの増加を伴わず、複数のベンチマークで性能向上を示しており、その効率性と広範な適用可能性を裏付けている。