[논문 리뷰] Fully Convolutional Attention Networks for Fine-Grained Recognition

Xiao Liu, Tian Xia외 4명|arXiv (Cornell University)|2016. 03. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 128

한 줄 요약

FCANs는 강화 학습을 이용한 완전 합성 Convolutional 네트워크를 통해 부분 주석 없이 다수의 판별적 부분을 로컬라이즈하며, 빠른 학습/테스트와 미세한 벤치마크에서의 경쟁력 있는 정확도를 가능하게 한다.

ABSTRACT

Fine-grained recognition is challenging due to its subtle local inter-class differences versus large intra-class variations such as poses. A key to address this problem is to localize discriminative parts to extract pose-invariant features. However, ground-truth part annotations can be expensive to acquire. Moreover, it is hard to define parts for many fine-grained classes. This work introduces Fully Convolutional Attention Networks (FCANs), a reinforcement learning framework to optimally glimpse local discriminative regions adaptive to different fine-grained domains. Compared to previous methods, our approach enjoys three advantages: 1) the weakly-supervised reinforcement learning procedure requires no expensive part annotations; 2) the fully-convolutional architecture speeds up both training and testing; 3) the greedy reward strategy accelerates the convergence of the learning. We demonstrate the effectiveness of our method with extensive experiments on four challenging fine-grained benchmark datasets, including CUB-200-2011, Stanford Dogs, Stanford Cars and Food-101.

연구 동기 및 목표

• 클래스 간 차이가 작고 클래스 내 변이가 큰 상황에서의 미세한 세분화 인식을 촉진한다.
• 비용이 큰 그라운드-truth 파트 주석에 대한 의존성을 약하게 감독되는 학습으로 제거한다.
• 학습 및 테스트 중 효율성을 위해 특징 맵을 재사용하는 완전 합성곱 주의 프레임워크를 제안한다.
• 학습 속도 향상을 위해 탐욕적이고 단계적 보상으로 다수의 판별적 부분의 로컬라이제이션을 가능하게 한다.

제안 방법

• 공유 피처 네트워크, 다수의 파트 스코어 맵을 생성하는 어텐션 네트워크, 그리고 파트별 분류 네트워크로 구성된 FCANs를 제안한다.
• 동작이 어텐션 위치이고 보상이 분류 품질을 반영하는 마르코프 의사 결정 과정(MDP) 형태를 사용한다.
• 정확도가 향상될 때 중간 보상을 부여하는 탐욕적 보상 전략을 사용하는 REINFORCE 기반 정책 그래디언트로 학습한다.
• 특징 재계산을 피하기 위해 시간 단계 간 컨볼루션 피처 맵을 재사용한다(Fast-RCNN 유사 공유).
• 주의 위치 주위의 고해상도 영역을 잘라내 최종 분류에 사용하되 효율성을 위해 공유 표현을 유지한다.

실험 결과

연구 질문

• RQ1 약하게 감독된 어텐션이 파트 주석 없이도 미세한 차이를 구분하는 부분을 학습할 수 있는가?
• RQ2 완전 합성곱 어텐션 아키텍처가 정확도를 유지하면서 순환(attention) 모델에 비해 효율성을 향상시키는가?
• RQ3 다양한 데이터셋에서 최적의 정확도와 학습 수렴을 달성하는 어텐션 수와 보상 전략은 무엇인가?

주요 결과

• 테스트 시 파트 주석을 사용하지 않고도 네 가지 벤치마크에서 경쟁력 있는 미세-세분화 정확도를 달성한다.
• 완전 합성곱 피처 재사용으로 정확도와 효율성 모두에서 이전 RL 기반 어텐션 모델을 능가한다.
• 두 개의 어텐션은 정확도와 계산 비용 간의 좋은 트레이드오프를 제공하며, 두 개를 넘어서면 이득이 감소한다.
• 탐욕적 보상 전략이 학습 수렴을 가속하고 최종 정확도를 향상시키는 동시에 단말 보상만 사용하는 경우보다 더 좋다.
• 공유 피처 맵과 Fast-RCNN 유사 영역 추출로 학습 시 계산량을 크게 줄이고 테스트 속도를 높인다.