[논문 리뷰] KeepAugment: A Simple Information-Preserving Data Augmentation Approach

Chengyue Gong, Dilin Wang외 3명|arXiv (Cornell University)|2020. 11. 23.

Advanced Neural Network Applications참고 문헌 43인용 수 12

한 줄 요약

KeepAugment는 이미지의 주목할 만한 정보가 풍부한 영역을 유지하면서 데이터 증강을 수행하기 위해 주목도 맵을 활용하는 단순하면서도 효과적인 데이터 증강 방법을 제안한다. 높은 중요도의 영역을 잘라내거나 다시 붙이지 않음으로써 계산 비용을 증가시키지 않으면서도 정밀도를 향상시켜, 여러 벤치마크에서 이미지 분류, 객체 검출, 다중 카메라 추적 등 다양한 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Data augmentation (DA) is an essential technique for training state-of-the-art deep learning systems. In this paper, we empirically show data augmentation might introduce noisy augmented examples and consequently hurt the performance on unaugmented data during inference. To alleviate this issue, we propose a simple yet highly effective approach, dubbed \emph{KeepAugment}, to increase augmented images fidelity. The idea is first to use the saliency map to detect important regions on the original images and then preserve these informative regions during augmentation. This information-preserving strategy allows us to generate more faithful training examples. Empirically, we demonstrate our method significantly improves on a number of prior art data augmentation schemes, e.g. AutoAugment, Cutout, random erasing, achieving promising results on image classification, semi-supervised image classification, multi-view multi-camera tracking and object detection.

연구 동기 및 목표

• 기존의 데이터 증강 기법이 노이즈가 많거나 모호한 예시를 도입함으로써 모델 성능을 떨어뜨릴 수 있는 문제를 해결하기 위해.
• 주목도 맵를 통해 식별된 의미적으로 중요한 영역을 유지함으로써 증강된 학습 예제의 정밀도를 향상시키기 위해.
• 추가적인 감독이나 복잡한 학습 과정 없이도 영역 수준 및 이미지 수준의 증강을 모두 향상시킬 수 있는 일반적인, 경량의 방법을 개발하기 위해.
• 이미지 분류, 준지도 학습, 다중 시각 추적, 객체 검출 등 다양한 비전 과제에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 이 방법은 기울기 기반 할당 방법(예: 주목도 맵)을 통해 입력 이미지의 고중요도 영역을 식별한다.
• 영역 수준의 증강(예: Cutout)의 경우, 주목도 점수가 높은 영역을 잘라내거나 마스킹하지 않아 중요한 특징을 유지한다.
• 이미지 수준의 증강(예: RandAugment, AutoAugment)의 경우, 원본 이미지에서 고중요도 패치를 다시 삽입하는 '재삽입 전략'을 적용한다.
• 기존의 데이터 증강 파이프라인에 수정 없이도 적용할 수 있는 플러그인 모듈로 구현되어 있다.
• 학습 중에 이미지당 한 번만 주목도 맵을 계산하고, 중요도 맵에 따라 샘플별로 동적으로 증강 정책을 조정한다.
• 라벨 불변성과 라벨 혼합 증강 기법 양쪽 모두와 호환되며, CutMix 등에 대한 실험적 검증을 수행했다.

실험 결과

연구 질문

• RQ1 데이터 증강 중 주목도 있는 이미지 영역을 유지하는 것이 모델의 일반화 능력을 향상시키고 학습 중 노이즈를 줄일 수 있는가?
• RQ2 증강된 예제의 정밀도가 이미지 분류 및 객체 검출 과제의 최종 성능에 어떤 영향을 미치는가?
• RQ3 주목도 맵를 활용한 단순한 비지도 학습 방법이 AutoAugment나 CutMix와 같은 강력한 베이스라인을 능가할 수 있는가?
• RQ4 제안된 방법이 준지도 학습 및 다중 시각 추적을 포함한 다양한 증강 유형과 학습 철학에 일반화되는가?

주요 결과

• AutoAugment를 기반으로 적용했을 때, KeepAugment는 PyramidNet-ShakeDrop를 사용해 CIFAR-10에서 98.7%의 테스트 정확도를 달성하여 기준 모델을 크게 능가했다.
• COCO 2017 객체 검출 벤치마크에서, RetinaNet에 ResNet-50을 사용할 경우 mAP를 37.9에서 39.1로 향상시키고, ResNet-101을 사용할 경우 39.9에서 41.2로 향상시켜 Detectron2 기준 모델조차도 초월했다.
• Market1501에서 다중 시각 다중 카메라 추적에 적용했을 때, 최근 최신 기술 수준의 결과를 초월하는 성능 향상을 보였다.
• 준지도 학습에서 ImageNet 사전학습 모델의 COCO 객체 검출 과제로의 전이 성능을 향상시켜 성능 향상을 이뤘다.
• KeepCutMix로 사전학습한 모델는 CutMix로 학습한 모델보다 성능이 뛰어나며, 일부 설정에서는 CutMix가 Detectron2 기준 모델조차도 빛보다 못한 성능을 보였다.
• 이 방법은 다양한 아키텍처와 과제에서 효과적이며, 추가 학습이나 감독 없이도 일관된 성능 향상을 보였다.