[논문 리뷰] Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition

Heliang Zheng, Jianlong Fu외 2명|arXiv (Cornell University)|2019. 03. 14.

Advanced Neural Network Applications참고 문헌 37인용 수 38

한 줄 요약

본 논문은 Trilinear Attention Sampling Network (TASN)을 활용한 미세한 세부 특징 인식에 대한 연구로, 수백 개의 부품 제안을 통해 교사–학생 증류 방식으로 미세한 세부 정보를 학습하고, CUB-200-2011, Stanford Cars, iNaturalist 2017에서 최첨단 성과를 달성한다.

ABSTRACT

Learning subtle yet discriminative features (e.g., beak and eyes for a bird) plays a significant role in fine-grained image recognition. Existing attention-based approaches localize and amplify significant parts to learn fine-grained details, which often suffer from a limited number of parts and heavy computational cost. In this paper, we propose to learn such fine-grained features from hundreds of part proposals by Trilinear Attention Sampling Network (TASN) in an efficient teacher-student manner. Specifically, TASN consists of 1) a trilinear attention module, which generates attention maps by modeling the inter-channel relationships, 2) an attention-based sampler which highlights attended parts with high resolution, and 3) a feature distiller, which distills part features into a global one by weight sharing and feature preserving strategies. Extensive experiments verify that TASN yields the best performance under the same settings with the most competitive approaches, in iNaturalist-2017, CUB-Bird, and Stanford-Cars datasets.

연구 동기 및 목표

• 제한된 사전 정의 부품을 넘어서 구별 가능한 미세 세부(예: 부리, 눈)를 학습하도록 동기를 부여한다.
• 부품 주석 없이 수백 개의 부품 제안을 추출할 수 있는 확장 가능한 방법을 개발한다.
• 다수의 부품 특징을 단일 백본으로 증류하기 위한 효율적인 교사–학생 프레임워크를 제안한다.
• 주요 FGVC 데이터셋에서 경쟁력 있는 효율성과 함께 효과를 입증한다.

제안 방법

• 합성곱 특징으로부터 채널 간 주의 맵을 생성하기 위한 트라이리니어 주의 모듈을 도입한다.
• 전역 및 부품 특이적 세부를 포착하기 위해 구조 보존 및 세부 보존 이미지를 생성하는 주의 기반 샘플러를 개발한다.
• 수백 개의 부품 정보를 하나의 네트워크로 융합하기 위해 부품-넷(교사)이 소프트 타깃 교차 엔트로피를 통해 마스터-넷(학생)을 안내하는 특징 증류기를 제안한다.
• 부품-넷에서 마스터-넷으로 미세한 세부 정보를 전달하는 지식 증류를 채택하여 효율적인 단일 스트림 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수백 개의 부품 제안으로부터 학습하는 것이 명시적 부품 주석 없이도 미세한 차별 인식을 향상시킬 수 있는가?
• RQ2 트라이리니어 주의가 강력하고 고해상도 부품 맵을 생성하여 미세한 세부 정보를 샘플링하는 데 얼마나 효과적인가?
• RQ3 제안된 교사–학생 증류 체계가 성능 저하 없이 많은 부품 특징을 단일 백본으로 효율적으로 통합하는가?
• RQ4 표준 FGVC 데이터셋에서 TASN의 이점은 최신 기준선과 비교해 무엇인가?

주요 결과

• TASN은 비교 가능한 백본과 단일 스트림 추론하에서 CUB-200-2011, Stanford Cars, iNaturalist 2017에서 기준선 대비 높은 정확도 향상을 달성한다.
• CUB-200-2011에서 224 입력의 ResNet-50으로 TASN은 87.0% 정확도에 도달한다 (기준선 ResNet-50의 81.6% 대비).
• 448 입력의 ResNet-50에서 TASN은 87.0%를 달성하고(고해상도 기준선은 85.6%), SSN 및 DT-RAM 기반 접근법을 능가한다.
• Stanford Cars에서 1x VGG-19를 사용한 TASN은 92.4%(기준선 88.6%)를 달성하고, 앙상블은 93.2%에 도달한다.
• iNaturalist 2017에서 TASN은 68.2% 정확도를 달성하여 대부분의 상위 클래스에서 ResNet(59.6%) 및 SSN(65.2%)을 능가한다.
• 전반적으로 단일 스트림 TASN은 다중 스트림 부품 기반 모델을 능가할 수 있으며 최근 2차 특성 방법과의 결합에서도 경쟁력을 유지한다.