[논문 리뷰] CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features

Sangdoo Yun, Dongyoon Han외 4명|arXiv (Cornell University)|2019. 05. 13.

Advanced Neural Network Applications참고 문헌 51인용 수 613

한 줄 요약

CutMix는 학습 이미지의 패치 하나를 다른 이미지의 패치로 교체하고 면적 비율에 비례하여 레이블을 혼합하여, 최소한의 오버헤드로 분류와 로컬라이제이션을 향상시킵니다.

ABSTRACT

Regional dropout strategies have been proposed to enhance the performance of convolutional neural network classifiers. They have proved to be effective for guiding the model to attend on less discriminative parts of objects (e.g. leg as opposed to head of a person), thereby letting the network generalize better and have better object localization capabilities. On the other hand, current methods for regional dropout remove informative pixels on training images by overlaying a patch of either black pixels or random noise. Such removal is not desirable because it leads to information loss and inefficiency during training. We therefore propose the CutMix augmentation strategy: patches are cut and pasted among training images where the ground truth labels are also mixed proportionally to the area of the patches. By making efficient use of training pixels and retaining the regularization effect of regional dropout, CutMix consistently outperforms the state-of-the-art augmentation strategies on CIFAR and ImageNet classification tasks, as well as on the ImageNet weakly-supervised localization task. Moreover, unlike previous augmentation methods, our CutMix-trained ImageNet classifier, when used as a pretrained model, results in consistent performance gains in Pascal detection and MS-COCO image captioning benchmarks. We also show that CutMix improves the model robustness against input corruptions and its out-of-distribution detection performances. Source code and pretrained models are available at https://github.com/clovaai/CutMix-PyTorch .

연구 동기 및 목표

• 지역 드롭아웃 기반 정규화를 통해 CNN의 일반화 및 로컬라이제이션을 개선하려는 동기를 부여한다.
• 부분 객체 뷰에서 학습을 가능하게 하면서 정보 유효한 픽셀을 보존하는 데이터 증강을 개발한다.
• 이미지 분류, 약지도된 로컬라이제이션 및 전이 학습 작업 전반에서 CutMix의 효과를 입증한다.
• 다른 증강 방법과 비교하여 CutMix의 견고성 및 불확실성 처리의 이점을 보여준다.

제안 방법

• 이진 마스크와 혼합 레이블을 사용하여 두 개의 학습 이미지를 결합해 새로운 샘플을 생성한다.
• 섞기 비율 lambda를 Beta(alpha, alpha) 분포(Beta(alpha, alpha))에서 샘플링한다(실험에서 alpha=1).
• 한 이미지에서 영역을 잘라 직사각형 바운딩 박스 내의 다른 이미지에 붙여넣고, 면적은 1 - lambda에 비례한다.
• 원래 손실 함수를 사용하여 CutMixed 이미지와 혼합 레이블로 학습한다.
• 입력 이미지 수준이나 더 높은 특징 수준에서 CutMix를 선택적으로 적용한다(소거 연구).
• 표준 증강 외에 추가 계산 오버헤드 없이 학습 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 CutMix가 ImageNet과 같은 대규모 데이터셋에서 Mixup 및 Cutout과 비교하여 분류 정확도를 향상시키는가?
• RQ2 CutMix가 더 넓은 객체 영역에 대한 주의를 촉진하여 약지도된 로컬라이제이션을 강화하는가?
• RQ3 CutMix로 사전 학습된 모델이 객체 탐지나 이미지 캡셔닝과 같은 다운스트림 작업으로 더 잘 전이되는가?
• RQ4 CutMix가 적대적 공격이나 OOD(Out-of-Distribution) 조건에서 견고성 및 보정/불확실성 처리 능력을 향상시키는가?

주요 결과

• ImageNet: CutMix는 기본대비 상위-1 정확도를 +2.28% (ResNet-50) 및 +1.70% (ResNet-101) 향상시켰다.
• CIFAR-100: CutMix는 최상위-1 오류 14.47%(PyramidNet-200의 기본 16.45%)를 달성하고, Mixup 및 Cutout 대비 상당한 이점을 보인다.
• 약지도된 로컬라이제이션: CutMix는 ImageNet에서 WSOL 정확도를 +5.4p, ImageNet 로컬라이제이션에서 +0.9p 향상시키고, CUB200-2011에서도 상당한 이익을 얻는다.
• 전이 학습: CutMix로의 사전 학습은 다운스트림 작업을 향상시키며, Pascal VOC 객체 탐지 (SSD/Faster R-CNN) 및 MS-COCO 이미지 캡션에서 CutMix 사전 학습된 백본이 측정 가능한 이점을 제공한다.
• 견고성/불확실성: CutMix는 적대적 공격에 대한 견고성을 크게 향상시키고(공격 후 정확도 증가), Mixup 및 Cutout에 비해 OOD 탐지 지표를 개선하며 과신 경향도 줄인다.