[논문 리뷰] Image Data Augmentation Approaches: A Comprehensive Survey and Future directions

Teerath Kumar, Alessandra Mileo외 2명|arXiv (Cornell University)|2023. 01. 07.

Advanced Neural Network Applications인용 수 15

한 줄 요약

본 조사는 이미지 데이터 증강 기법의 포괄적 분류체계를 제시하고, 이미지 분류, 객체 탐지, 시맨틱 분할에 미치는 영향을 평가하며, 기법에 대한 재현 가능한 코드를 제공합니다.

ABSTRACT

Deep learning (DL) algorithms have shown significant performance in various computer vision tasks. However, having limited labelled data lead to a network overfitting problem, where network performance is bad on unseen data as compared to training data. Consequently, it limits performance improvement. To cope with this problem, various techniques have been proposed such as dropout, normalization and advanced data augmentation. Among these, data augmentation, which aims to enlarge the dataset size by including sample diversity, has been a hot topic in recent times. In this article, we focus on advanced data augmentation techniques. we provide a background of data augmentation, a novel and comprehensive taxonomy of reviewed data augmentation techniques, and the strengths and weaknesses (wherever possible) of each technique. We also provide comprehensive results of the data augmentation effect on three popular computer vision tasks, such as image classification, object detection and semantic segmentation. For results reproducibility, we compiled available codes of all data augmentation techniques. Finally, we discuss the challenges and difficulties, and possible future direction for the research community. We believe, this survey provides several benefits i) readers will understand the data augmentation working mechanism to fix overfitting problems ii) results will save the searching time of the researcher for comparison purposes. iii) Codes of the mentioned data augmentation techniques are available at https://github.com/kmr2017/Advanced-Data-augmentation-codes iv) Future work will spark interest in research community.

연구 동기 및 목표

• 데이터 증강이 컴퓨터 비전 모델에서 과적합 완화에 어떻게 도움이 되는지 설명한다.
• 기본 증강 기법과 고급 증강 기법을 구별하는 포괄적 분류체계를 제안한다.
• 최신 증강 방법과 이들이 CV 작업에 미치는 영향을 조사한다.
• 평가된 증강 기법에 대한 재현 가능한 코드를 제공한다.

제안 방법

• 두 가지 가지 분류체계: Basic과 Advanced 이미지 데이터 증강을 제안한다.
• 기하적, 비기하적, 및 지워오기(erasing) 증강을 예시와 함께 정리하고 설명한다.
• 고급 증강을 이미지 혼합, 반지도학습, 및 기타 혁신으로 분류한다.
• 증강 기법들의 재현성을 위한 코드를 수집하고 제공한다.

Figure 1: Overfitting problem: On the left side, overfitting is explained in terms of accuracy, after the inflation point (red dotted line), the training accuracy is increasing but validation accuracy is decreasing. On the right side, alternatively in terms of loss, training loss is decreasing but v

실험 결과

연구 질문

• RQ1 현재 최첨단 이미지 데이터 증강 기법은 무엇인가?
• RQ2 다양한 증강 방법이 이미지 분류, 객체 탐지, 시맨틱 분할에 어떤 영향을 미치는가?
• RQ3 각 증강 기법의 강점과 한계는 무엇인가?
• RQ4 통합된 분류체계가 CV 작업 전반에서 재현성과 비교를 촉진할 수 있는가?

주요 결과

• 포괄적인 증강 기법 분류체계가 제안되고 설명된다.
• 고급 증강에는 이미지 혼합, 주의도(saliency) 인식 방법, 다중 이미지 전략이 포함된다.
• 증강 기법은 이미지 분류, 객체 탐지, 시맨틱 분할 전반에 걸쳐 평가된다.
• 검토된 증강 기법에 대한 코드는 컴파일되어 재현성을 위해 제공된다.
• 데이터 증강의 과제와 향후 방향에 대해 논의한다.

Figure 3: Overview of the geometric data augmentations.