[論文レビュー] A Survey of Automated Data Augmentation Algorithms for Deep Learning-based Image Classification Tasks

Zihan Yang, Richard Sinnott+2 more|arXiv (Cornell University)|Jun 14, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本サーベイは、深層学習ベースの画像分類における自動データ拡張（AutoDA）技術について包括的な分析を提供し、探索空間、アルゴリズム、評価関数の観点から手法を体系的に分類している。AutoDAは、増強ポリシー設計における人為的バイアスを低減する有望な解決策であると特定されており、AutoAugment や RandAugment といった手法が、データから直接最適なポリシーを学習することで、不均衡またはノイズが多いデータセットにおいてモデルの精度と耐性を顕著に向上させ、最先端の性能を達成している。

ABSTRACT

In recent years, one of the most popular techniques in the computer vision community has been the deep learning technique. As a data-driven technique, deep model requires enormous amounts of accurately labelled training data, which is often inaccessible in many real-world applications. A data-space solution is Data Augmentation (DA), that can artificially generate new images out of original samples. Image augmentation strategies can vary by dataset, as different data types might require different augmentations to facilitate model training. However, the design of DA policies has been largely decided by the human experts with domain knowledge, which is considered to be highly subjective and error-prone. To mitigate such problem, a novel direction is to automatically learn the image augmentation policies from the given dataset using Automated Data Augmentation (AutoDA) techniques. The goal of AutoDA models is to find the optimal DA policies that can maximize the model performance gains. This survey discusses the underlying reasons of the emergence of AutoDA technology from the perspective of image classification. We identify three key components of a standard AutoDA model: a search space, a search algorithm and an evaluation function. Based on their architecture, we provide a systematic taxonomy of existing image AutoDA approaches. This paper presents the major works in AutoDA field, discussing their pros and cons, and proposing several potential directions for future improvements.

研究の動機と目的

• 深層学習における人為的設計のデータ拡張ポリシーの主観性と非効率性を是正すること。
• 画像分類のための既存の自動データ拡張（AutoDA）アプローチを体系化すること。
• 異なる手法にわたるAutoDAのコアな要素である探索空間、探索アルゴリズム、評価関数を特定すること。
• AutoDA手法における精度、効率性、耐性性のトレードオフを評価すること。
• 今後の研究の方向性を強調すること、特にオブジェクト検出やNLPへの応用、ノイズや不均衡なデータの処理。

提案手法

• トレーニング段階と探索段階に基づき、AutoDA手法をワンステージおよびツーフェーズパイプラインに分類する。
• 探索アルゴリズムを勾配フリー（例：強化学習、進化的戦略）、勾配ベース（例：微分可能アーキテクチャ探索）、および探索フリー（例：ランダム探索、ニューラルアーキテクチャ探索）に分類する。
• 探索空間の構造を分析し、画像変換関数（例：回転、スケーリング、カラーフィルタ）の種類と組み合わせを検討する。
• CIFAR-10/100 や ImageNet におけるトップ1精度といった標準的な指標を用いて性能を評価する。
• ポリシー探索を導くための評価関数をレビューし、バリデーション精度や自己教師付きコントラスト学習を含む。
• 計算コスト、探索空間の複雑さ、ラベルノイズやデータ不均衡に対する耐性性の観点から、AutoDA手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 自動データ拡張は、画像分類における専門家設計の増強ポリシーへの依存をどの程度低減できるか？
• RQ2 標準的なAutoDAパイプラインを特徴づける主なアーキテクチャ的およびアルゴリズム的要素は何か？
• RQ3 勾配フリー、勾配ベース、探索フリーの各探索戦略は、効率性と性能の観点でどのように比較できるか？
• RQ4 AutoDAは、ノイズが多いまたは不均衡なデータセットにおいて、どの程度モデルの耐性性を向上させられるか？
• RQ5 オブジェクト検出やNLPを含め、画像分類を超えたAutoDAの応用可能性は何か？

主な発見

• AutoAugment は、強化学習を用いて増強ポリシーを学習することで、CIFAR-10/100 および ImageNet で最先端の性能を達成した最初の AutoDA 手法であった。
• RandAugment は、均一にサンプリングされたハイパーパrameterを用いた簡素化された固定深さの探索空間を採用することで、著しく短い探索時間で競争力のある精度を達成した。
• DADA や Scale-aware AutoAugment といった AutoDA 手法は、バウンディングボックスレベルのデータに適合させたり、事前学習バックボーンを調整することで、オブジェクト検出においても性能向上を示した。
• AutoDAにおける自己教師付き評価関数は、特にデータ量が少ない状況で一般化性能の向上に寄与することが示された。
• 不均衡またはノイズが多いデータセットにおいて、AutoDAモデルは従来の手作業によるポリシーを上回り、データ品質の問題に対する耐性があることが実証された。
• 本サーベイは、今後の AutoDA の研究において、精度、効率性、安全性のバランスを取ることが不可欠であると指摘している。