[論文レビュー] Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach

Kaiwen Yang, Yanchao Sun+6 more|arXiv (Cornell University)|Nov 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、ラベルを保持する敵対的オートオーギュメンテーション（LP-A3）を提案する。これは、表現学習の原則に基づき、ドメインに依存しないデータオーギュメンテーション手法であり、中間モデル特徴量における知覚的距離を最適化することで、ラベルを保持したままハードなポジティブ例を生成する。事前に定義されたオーキュメンテーションや追加の生成モデルを必要とせず、教師あり、半教師あり、ノイズラベル学習のあらゆる設定で一貫した性能向上を達成する。

ABSTRACT

Data augmentation is a critical contributing factor to the success of deep learning but heavily relies on prior domain knowledge which is not always available. Recent works on automatic data augmentation learn a policy to form a sequence of augmentation operations, which are still pre-defined and restricted to limited options. In this paper, we show that a prior-free autonomous data augmentation's objective can be derived from a representation learning principle that aims to preserve the minimum sufficient information of the labels. Given an example, the objective aims at creating a distant "hard positive example" as the augmentation, while still preserving the original label. We then propose a practical surrogate to the objective that can be optimized efficiently and integrated seamlessly into existing methods for a broad class of machine learning tasks, e.g., supervised, semi-supervised, and noisy-label learning. Unlike previous works, our method does not require training an extra generative model but instead leverages the intermediate layer representations of the end-task model for generating data augmentations. In experiments, we show that our method consistently brings non-trivial improvements to the three aforementioned learning tasks from both efficiency and final performance, either or not combined with strong pre-defined augmentations, e.g., on medical images when domain knowledge is unavailable and the existing augmentation techniques perform poorly. Code is available at: https://github.com/kai-wen-yang/LPA3}{https://github.com/kai-wen-yang/LPA3.

研究の動機と目的

• 手作業で設計された演算子やドメイン固有の知識に依存しない自律的なデータオーギュメンテーション手法の開発。
• ラベルに必要な最小限の十分な情報を保持するという表現学習の原則に基づいた最適化目的関数の導出。
• 実時間でのオーギュメンテーション生成に適した、中間層特徴量を用いた実用的で効率的な代替目的関数の構築。
• 教師あり、半教師あり、ノイズラベル学習の既存の機械学習パイプラインへのシームレスな統合を可能にすること。
• 特にリソースが限られた状況や医療画像のようなドメインシフトが生じる状況において、学習効率と最終モデル性能の向上。

提案手法

• 本手法は、元の入力からの知覚的距離を最大化しつつ、変換後のサンプルにおけるモデルの予測を保持するようにオーギュメンテーションを生成する目的関数を定式化する。
• データの尤度を推定し、ラベル保持を強制するために、中間層特徴量における知覚的距離に基づく代替目的関数を用いる。
• ラグランジュ緩和を用いて最適化を解き、標準的なバックプロパゲーションによるエンドツーエンド学習を可能にする。
• シャープネスに配慮した基準により、最も情報量の多いサンプルのみをオーギュメンテーションの対象とすることで、計算コストを削減する。
• 別途生成モデルを訓練する必要がなくなるため、タスクの最終モデルの内部表現を活用する。
• 既存の手法と互換性があり、アーキテクチャの変更なしにさまざまな学習パラダイムに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された演算子やドメイン知識に依存せずに、データオーギュメンテーションを完全に自動化できるか？
• RQ2 ラベル情報を保持しつつ表現の多様性を高めるタスクに適合したオーギュメンテーションをどのように生成できるか？
• RQ3 追加のモデルを必要とせず、中間層特徴量に基づく代替目的関数がオーギュメンテーション生成を効果的に導けるか？
• RQ4 提案手法は、多様な学習設定において学習効率と最終性能を向上させるか？
• RQ5 ラベル保持マージンやデータ選択比といったハイパーパrameterの選択に対して、本手法はどれほど頑健か？

主な発見

• LP-A3は、評価されたすべてのタスク（教師あり、半教師あり、ノイズラベル学習）で一貫した性能向上を達成し、ドメイン固有のオーギュメンテーションルールを必要としない。
• MedMNISTでは、OctMNISTで1%以上の精度向上を達成し、最先端の結果を記録しており、医療画像では失敗する可能性があるRandAugmentをも上回る。
• オーギュメンテーション選択に使用するデータの30%のみで最良の性能が得られ、MedMNISTでは2%以上の向上を示しており、高いサンプル効率を示している。
• ハイパーパrameterの選択に対して本手法は頑健である：ラベル保持マージンσに対して逆U字型の性能曲線が観察され、値の変動に対しても安定性が確認された。
• ResNet-18およびResNet-50の両方で、MedMNISTの10のデータセット（PathMNIST、DermaMNIST、OrganSMNISTなど）すべてにおいてベースラインを上回り、一貫した向上を示した。
• 強力な事前に定義されたオーギュメンテーション（例：RandAugment）と組み合わせても、最終精度と学習効率の両面で顕著な向上を達成した。