[논문 리뷰] See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification

Tao Hu, Honggang Qi외 2명|arXiv (Cornell University)|2019. 01. 25.

Domain Adaptation and Few-Shot Learning인용 수 157

한 줄 요약

이 논문은 WS-DAN을 소개하며, 약하게 감독된 주의 맵을 사용해 데이터 증강(주 의 집중 자르기 및 제거) 및 객체 위치화/정교화를 안내하고 FGVC에서 최첨단 결과를 달성한다.

ABSTRACT

Data augmentation is usually adopted to increase the amount of training data, prevent overfitting and improve the performance of deep models. However, in practice, random data augmentation, such as random image cropping, is low-efficiency and might introduce many uncontrolled background noises. In this paper, we propose Weakly Supervised Data Augmentation Network (WS-DAN) to explore the potential of data augmentation. Specifically, for each training image, we first generate attention maps to represent the object's discriminative parts by weakly supervised learning. Next, we augment the image guided by these attention maps, including attention cropping and attention dropping. The proposed WS-DAN improves the classification accuracy in two folds. In the first stage, images can be seen better since more discriminative parts' features will be extracted. In the second stage, attention regions provide accurate location of object, which ensures our model to look at the object closer and further improve the performance. Comprehensive experiments in common fine-grained visual classification datasets show that our WS-DAN surpasses the state-of-the-art methods, which demonstrates its effectiveness.

연구 동기 및 목표

• 공간적 객체 정보를 상세 주석 없이 활용하여 데이터 증강 효율성을 개선하려는 동기 부여.
• 이미지 수준 레이블에서 주의 맵을 학습하고 이를 증강 및 위치화에 활용하는 프레임워크를 개발.
• 주의 안내 증강을 양선형 주의 풀링 메커니즘과 결합해 구별 가능한 부분 특성을 추출.
• 주의 자르기와 주의 제거를 통해 기능 표현과 위치화 정확도를 FGVC 벤치마크에서 향상시키는 것을 보인다.

제안 방법

• 약하게 감독되는 학습을 이용해 CNN 특성 맵에서 주의 맵을 생성한다.
• Bilinear Attention Pooling을 적용해 주의 맵에서 부분 기반 특징을 추출한다(P = Γ(A, F)).
• 학습된 센터와 부분 특징을 정렬하기 위해 주의 정규화를 적용한다(L_A).
• 주의 안내 데이터 증강을 수행한다: 주의 자르기(판별 가능한 부분으로 확대)와 주의 제거(부분을 지워 탐색을 강제).
• 테스트 시 주의 맵을 집계해 객체 맵을 형성하고 이를 확대해 현상-세부 예측으로 객체 영역을 위치화 및 정교화한다.

실험 결과

연구 질문

• RQ1 약하게 감독된 주의 학습이 경계 상자 주석 없이도 신뢰할 수 있는 판별 부분을 생성하는가?
• RQ2 주 의 안내 증강 기법(자르기 및 제거)이 FGVC에서 무작위 증강보다 우수한가?
• RQ3 주 의 맵으로부터 명시적 객체 위치화 및 정교화가 최종 세밀한 시각 분류 정확도를 개선하는가?
• RQ4 주 의 맵의 수를 늘리면 FGVC 성능에 어떤 영향을 미치는가?

주요 결과

• WS-DAN은 네 가지 FGVC 데이터 세트에서 최첨단 정확도를 달성: CUB-200-2011(89.4%), FGVC-Aircraft(94.5%), Stanford Cars(92.2%), Stanford Dogs(93.0%).
• 주의 안내 증강은 분류 정확도와 위치화 품질(mIoU) 모두에서 무작위 증강보다 우수하다.
• 여러 개의 주의 맵(최대 32개 이상)을 사용하면 정확도가 높아지고 CUB-200-2011에서 약 89.4%로 안정화된다.
• CUB-200-2011 및 Stanford Dogs에서 객체 위치화 오차율이 이전 방법들보다 크게 낮다(각각 18.3%, 19.2%).
• 주의 자르기와 제거가 정확도 향상에 누적적으로 기여한다(예: 모든 구성요소를 결합했을 때 CUB-200-2011에서 83.7%에서 89.4%로 증가).