[논문 리뷰] SaliencyMix: A Saliency Guided Data Augmentation Strategy for Better Regularization

A. F. M. Shahab Uddin, Mst. Sirazam Monira외 3명|arXiv (Cornell University)|2020. 06. 02.

Advanced Neural Network Applications참고 문헌 54인용 수 92

한 줄 요약

SaliencyMix는 주의도(saliency maps)를 통해 정보성이 높은 패치를 선택하고 이를 대상 이미지에 섞어 학습을 유도하며 일반화, 강건성, 객체 탐지로의 전이를 개선합니다. CIFAR 및 ImageNet에서 최첨단 성능을 달성하고 사전 학습 시 Faster R-CNN 성능을 높입니다.

ABSTRACT

Advanced data augmentation strategies have widely been studied to improve the generalization ability of deep learning models. Regional dropout is one of the popular solutions that guides the model to focus on less discriminative parts by randomly removing image regions, resulting in improved regularization. However, such information removal is undesirable. On the other hand, recent strategies suggest to randomly cut and mix patches and their labels among training images, to enjoy the advantages of regional dropout without having any pointless pixel in the augmented images. We argue that such random selection strategies of the patches may not necessarily represent sufficient information about the corresponding object and thereby mixing the labels according to that uninformative patch enables the model to learn unexpected feature representation. Therefore, we propose SaliencyMix that carefully selects a representative image patch with the help of a saliency map and mixes this indicative patch with the target image, thus leading the model to learn more appropriate feature representation. SaliencyMix achieves the best known top-1 error of 21.26% and 20.09% for ResNet-50 and ResNet-101 architectures on ImageNet classification, respectively, and also improves the model robustness against adversarial perturbations. Furthermore, models that are trained with SaliencyMix help to improve the object detection performance. Source code is available at https://github.com/SaliencyMix/SaliencyMix.

연구 동기 및 목표

• 정보적 패치를 배경 잡음과 함께 섞지 않도록 데이터 증강을 개선하려는 동기 부여.
• 이미지 섞기를 안내하기 위한 주의도 기반 패치 선택 메커니즘을 제안.
• 분류 정확도 향상, 적대적 교란에 대한 강건성 및 객체 탐지로의 전이 향상을 입증합니다.

제안 방법

• Montabone & Soto 2010 주의도 탐지기를 사용하여 소스 이미지의 주의도 맵을 추출합니다.
• 물체 관련 정보가 보존되도록 피크 주의도 영역 주변의 패치를 선택합니다.
• 선택된 패치를 이진 마스크와 해당 레이블 보간 y_a = λ y_t + (1−λ) y_s 로 타깃 이미지에 혼합합니다.
• 훈련 중 데이터를 증강으로 사용하여 모델을 정규화합니다.
• CIFAR-10/100, ImageNet 및 객체 탐지(Faster R-CNN)에서 ResNet 및 WideResNet 백본으로 평가합니다.

실험 결과

연구 질문

• RQ1 주요 패치 선택이 무작위 패치 선택(CutMix 등)과 비교하여 정규화를 개선합니까?
• RQ2 SaliencyMix가 표준 아키텍처 전반에서 CIFAR 및 ImageNet의 top-1/top-5 정확도에 어떤 영향을 줍니까?
• RQ3 SaliencyMix로 학습된 모델이 Faster R-CNN으로 전이될 때 객체 탐지 성능을 향상시킬 수 있습니까?
• RQ4 SaliencyMix가 다른 증강 방법과 비교하여 적대적 교란에 대한 강건성을 향상시킵니까?

주요 결과

• SaliencyMix는 WideResNet-28-10에서 CIFAR-10의 상위 1위 오차 2.76% 및 CIFAR-100의 상위 1위 오차 16.56%를 달성하며 여러 베이스라인보다 우수합니다.
• ImageNet에서 SaliencyMix는 ResNet-50으로 21.26% top-1 및 5.76% top-5를, ResNet-101으로 20.09% top-1 및 5.15% top-5를 달성하며 다양한 증강 방법을 능가합니다.
• SaliencyMix로 학습된 모델이 사전 학습 시 Pascal VOC에서 Faster R-CNN 탐지를 +1.77 mAP 향상시킵니다.
• SaliencyMix는 적대적 교란에 대한 강건성을 높여 CutMix 대비 적대적 교란된 ImageNet 검증 세트에서 1.96 퍼센트 포인트의 정확도 이점을 보입니다.
• SaliencyMix는 주의도 맵 계산으로 인한 약간의 계산 오버헤드가 있지만 상당한 성능 향상을 제공합니다.