[論文レビュー] Image Data Augmentation for Deep Learning: A Survey

Suorong Yang, Weikang Xiao+4 more|arXiv (Cornell University)|Apr 19, 2022

Advanced Neural Network Applications被引用数 198

ひとこと要約

画像データ拡張手法の体系的な調査と、セマンティックセグメンテーション、画像分類、物体検出に跨る分類法と実証評価。

ABSTRACT

Deep learning has achieved remarkable results in many computer vision tasks. Deep neural networks typically rely on large amounts of training data to avoid overfitting. However, labeled data for real-world applications may be limited. By improving the quantity and diversity of training data, data augmentation has become an inevitable part of deep learning model training with image data. As an effective way to improve the sufficiency and diversity of training data, data augmentation has become a necessary part of successful application of deep learning models on image data. In this paper, we systematically review different image data augmentation methods. We propose a taxonomy of reviewed methods and present the strengths and limitations of these methods. We also conduct extensive experiments with various data augmentation methods on three typical computer vision tasks, including semantic segmentation, image classification and object detection. Finally, we discuss current challenges faced by data augmentation and future research directions to put forward some useful research guidance.

研究の動機と目的

• 視覚の深層学習におけるデータ不足と多様な訓練データの必要性に対処することで研究の動機づけを行う。
• 画像データ拡張手法の分類法を提案する。
• 主要なCVタスク（セグメンテーション、分類、検出）にわたる拡張技術を系統的にレビューし、それらの有効性を比較する。
• 標準データセット上での経験的評価を提供し、拡張手法を評価し、今後の研究への指針を示す。

提案手法

• 基本的な操作、erase、混合を含む画像拡張手法の分類を提案する。
• 高度な手法を自動拡張（auto-augmentation）、特徴拡張、深層生成モデルに分類する。
• 公開データセット（例：PASCAL VOC、COCO）を用いたセマンティックセグメンテーション、画像分類、物体検出の広範な実験を実施して拡張手法を比較する。
• 理論と評価の課題を論じ、今後の研究の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 CVタスク全体で画像データに対してどのような拡張技術が存在し、どのように分類されるのか？
• RQ2 標準データセット上で、セグメンテーション、分類、検出の各タスクにおいて、さまざまな拡張手法が性能にどのように影響するか？
• RQ3 現在の拡張アプローチにおける制約と課題（理論、評価、データ品質）は何か？
• RQ4 データ拡張の有効性と理解を改善できる今後の方向性は何か？

主な発見

• データ拡張はモデルとタスク全体で一貫して性能を向上させる（例：セグメンテーションのIoU向上、分類の精度向上、検出のmAP向上）。
• 幅広い分類は基本的な操作、消去、混合を捉え、さらに自動拡張、特徴拡張、GANベースの手法などの高度なアプローチを含む。
• AutoAugment、 RandAugment、関連戦略は探索コストを削減し、手動設計と比べて有効性を向上させる。
• 標準データセットでの評価は、CNNアーキテクチャとビジョンタスク全体で顕著な向上を示す。
• 未解決の課題には、理論的理解、合成データ品質の評価指標、データセットサイズの考慮が含まれる。
• 拡張手法の組み合わせは、単一手法よりしばしば優れている。