[논문 리뷰] A Comprehensive Survey of Image Augmentation Techniques for Deep Learning

Mingle Xu, Sook Yoon외 2명|arXiv (Cornell University)|2022. 05. 03.

Domain Adaptation and Few-Shot Learning인용 수 28

한 줄 요약

깊은 학습을 위한 이미지 증강 방법의 광범위한 분류 체계 기반 설문으로, 모델-프리, 모델-베이스, 정책-기반 접근법을 다루며, 도전 과제와 vicinity distribution 분석을 통해 방법 선택과 향후 연구를 안내한다.

ABSTRACT

Deep learning has been achieving decent performance in computer vision requiring a large volume of images, however, collecting images is expensive and difficult in many scenarios. To alleviate this issue, many image augmentation algorithms have been proposed as effective and efficient strategies. Understanding current algorithms is essential to find suitable methods or develop novel techniques for given tasks. In this paper, we perform a comprehensive survey on image augmentation for deep learning with a novel informative taxonomy. To get the basic idea why we need image augmentation, we introduce the challenges in computer vision tasks and vicinity distribution. Then, the algorithms are split into three categories; model-free, model-based, and optimizing policy-based. The model-free category employs image processing methods while the model-based method leverages trainable image generation models. In contrast, the optimizing policy-based approach aims to find the optimal operations or their combinations. Furthermore, we discuss the current trend of common applications with two more active topics, leveraging different ways to understand image augmentation, such as group and kernel theory, and deploying image augmentation for unsupervised learning. Based on the analysis, we believe that our survey gives a better understanding helpful to choose suitable methods or design novel algorithms for practical applications.

연구 동기 및 목표

• 비전 과제에서 이미지 증강이 딥러닝에 필요한 이유를 설명한다.
• 이미지 증강 방법의 새로운 정보성 분류 체계를 제시한다.
• 컴퓨터 비전의 도전 과제와 vicinity distribution 개념을 분석하여 증강 필요성을 정당화한다.
• model-free, model-based, 및 optimizing policy-based 증강 접근법을 조사한다.
• 증강 이해, 새로운 전략, 특징 증강과 같은 미래 방향 및 관련 주제에 대해 논의한다.

제안 방법

• 증강 방법을 세 가지 주요 범주인 model-free, model-based, 및 optimizing policy-based로 분류한다.
• model-free를 단일 이미지 및 다중 이미지(instances 수준 및 비인스턴스 수준) 증강으로 세분화하고 상세한 기법 예를 제시한다.
• model-based를 무조건적(unconditional), 레이블 조건부(label-conditional), 이미지 조건부(image-conditional)(레이블 보존 및 레이블 변경) 증강으로 나누고 대표적인 GAN 기반 및 스타일/변환 기법을 포함한다.
• 강화 학습 및 적대적 학습을 사용하여 자동으로 최적의 증강 전략을 탐색하는 optimizing policy-based 증강을 설명한다.
• 증강이 데이터 매니폴드를 어떻게 확장하고 일반화를 향상시키는지 설명하기 위해 vicinity distribution의 개념을 도입한다.

실험 결과

연구 질문

• RQ1 비전 과제에서 딥러닝용 이미지 증강 기술은 어떤 범주가 존재하는가?
• RQ2 model-free, model-based, 및 policy-based 증강은 목표와 방법에서 어떻게 다른가?
• RQ3 증강이 해결하려는 컴퓨터 비전의 주요 도전 과제는 무엇이며 vicinity distribution은 증강과 어떻게 관련되는가?
• RQ4 특정 작업에 대해 증강 방법을 선택하거나 설계하는 데 어떤 가이드라인을 제공할 수 있는가?
• RQ5 이미지 증강 연구의 미래 방향과 관련 주제는 무엇인가?

주요 결과

• 본 설문 조사는 전통적 방법을 넘어 광범위한 증강 알고리즘을 포함하는 포괄적 분류 체계를 제시한다.
• 모델-프리, 모델-베이스, 최적화 정책 기반 접근법을 구분하고 단일 이미지, 다중 이미지, 인스턴스 레벨, 비인스턴스 레벨 증강과 같은 하위 범주를 상세히 다룬다.
• 인스턴스 레벨 혼합을 포함한 최신 방법을 통합하고 증강을 위한 레이블 조건부 및 레이블 변경 이미지 생성에 대한 통찰을 제공한다.
• vicinity distribution의 역할이 증강의 효과와 일반화를 이해하는 데 어떤 역할을 하는지 설명한다.
• 증강 전략 선택에 대한 실무적 고려사항을 논의하고 이해 증강 및 특징 증강의 향후 방향을 개요한다.