[논문 리뷰] Image Data Augmentation for Deep Learning: A Survey

Suorong Yang, Weikang Xiao외 4명|arXiv (Cornell University)|2022. 04. 19.

Advanced Neural Network Applications인용 수 198

한 줄 요약

이미지 데이터 증강 방법에 대한 포괄적 고찰, 시맨틱 세분화, 이미지 분류, 객체 탐지에 걸친 분류법 및 실증 평가.

ABSTRACT

Deep learning has achieved remarkable results in many computer vision tasks. Deep neural networks typically rely on large amounts of training data to avoid overfitting. However, labeled data for real-world applications may be limited. By improving the quantity and diversity of training data, data augmentation has become an inevitable part of deep learning model training with image data. As an effective way to improve the sufficiency and diversity of training data, data augmentation has become a necessary part of successful application of deep learning models on image data. In this paper, we systematically review different image data augmentation methods. We propose a taxonomy of reviewed methods and present the strengths and limitations of these methods. We also conduct extensive experiments with various data augmentation methods on three typical computer vision tasks, including semantic segmentation, image classification and object detection. Finally, we discuss current challenges faced by data augmentation and future research directions to put forward some useful research guidance.

연구 동기 및 목표

• 비전 분야의 딥러닝에서 데이터 부족과 다양한 훈련 데이터 필요성을 해결해 연구를 동기화한다.
• 이미지 데이터 증강 방법의 분류 체계를 제안한다.
• 주요 CV 과제(세그멘테이션, 분류, 탐지)에 걸친 증강 기법을 체계적으로 검토하고 그 효과를 비교한다.
• 표준 데이터세트에서의 실증 평가를 제공하여 증강 방법을 평가하고 향후 연구를 위한 지침을 제시한다.

제안 방법

• 일반적 조작, 삭제(erasing), 혼합(mixing)을 포함한 이미지 증강 방법의 분류 체계를 제안한다.
• 고급 기법을 자동 증강(auto-augmentation), 특징 증강(feature augmentation), 심층 생성 모델로 묶는다.
• 공개 데이터셋(PASCAL VOC, COCO 등)을 활용하여 의미론적 세분화, 이미지 분류, 객체 탐지에 대한 광범위한 실험을 수행하고 증강 방법을 비교한다.
• 이론적 및 평가상의 도전과제를 논의하고 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 CV 과제 전반에 걸친 이미지 데이터 증강 기법은 어떠하며 어떻게 분류되는가?
• RQ2 표준 데이터셋에서 세그먼테이션, 분류, 탐지 작업에서 다양한 증강 방법이 성능에 어떤 영향을 미치는가?
• RQ3 현재 증강 접근법의 한계와 도전과제(이론, 평가, 데이터 품질)는 무엇인가?
• RQ4 데이터 증강의 효과와 이해를 개선할 수 있는 향후 방향은 무엇인가?

주요 결과

• 데이터 증강은 모델과 작업 전반에서 일관되게 성능을 향상시킨다(예: 세그먼테이션의 IoU 증가, 분류의 정확도 향상, 탐지의 mAP 개선).
• 광범위한 분류 체계가 기본 조작, 지우기, 혼합을 포착하고 자동 증강, 특징 증강, GAN 기반 방법과 같은 고급 접근을 포함한다.
• AutoAugment, RandAugment 및 관련 전략은 수동 디자인에 비해 탐색 비용을 줄이고 효과를 향상시킨다.
• 표준 데이터셋에 대한 평가에서 CNN 아키텍처 및 비전 과제 전반에 걸쳐 두드러진 향상을 보인다.
• 이론적 이해, 합성 데이터 품질에 대한 평가 지표, 데이터셋 규모 고려 사항 등 개방형 도전과제가 있다.
• 증강 방법의 조합이 단일 방법 설정보다 종종 더 우수하다.