[논문 리뷰] Fine-Grained Visual Classification with Efficient End-to-end Localization

Harald Hanselmann, Hermann Ney|arXiv (Cornell University)|2020. 05. 11.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 미세 구분 시각 분류(FGVC)를 위한 효율적이고 엔드 투 엔드로 학습 가능한 국소화 모듈을 제안한다. 이 모듈은 경량화된 주의 기반 네트워크(AttNet)와 애핀 변환 네트워크(AffNet)를 사용하여 분류적 이미지 영역을 국소화한다. 기울기 역전파와 두 가지 자기 지율 손실 함수를 결합함으로써, 단일 순방향 전파를 통해 CUB200-2011, Stanford Cars, FGVC-Aircraft에서 최신 기술 수준의 정확도를 달성하며, 이전 방법들보다 정확도와 학습 효율성 측면에서 뛰어나다.

ABSTRACT

The term fine-grained visual classification (FGVC) refers to classification tasks where the classes are very similar and the classification model needs to be able to find subtle differences to make the correct prediction. State-of-the-art approaches often include a localization step designed to help a classification network by localizing the relevant parts of the input images. However, this usually requires multiple iterations or passes through a full classification network or complex training schedules. In this work we present an efficient localization module that can be fused with a classification network in an end-to-end setup. On the one hand the module is trained by the gradient flowing back from the classification network. On the other hand, two self-supervised loss functions are introduced to increase the localization accuracy. We evaluate the new model on the three benchmark datasets CUB200-2011, Stanford Cars and FGVC-Aircraft and are able to achieve competitive recognition performance.

연구 동기 및 목표

• 다중 네트워크 전파 또는 복잡한 학습 스케줄이 필요한 기존 국소화 방법의 비효율성을 해결하기 위해.
• 추가 추론 비용 없이 분류 백본과 원활하게 통합되는 경량이며 엔드 투 엔드로 학습 가능한 국소화 모듈을 개발하기 위해.
• 특징 맵 통계에서 유도된 자기 지율 손실 함수를 통해 기울기 전용 감독에 의존도를 줄이고 국소화 정확도를 향상시키기 위해.
• 단일 순방향 전파와 이미지 수준의 레이블만을 사용하여 표준 FGVC 벤치마크에서 경쟁 가능한 인식 성능을 달성하기 위해.

제안 방법

• 이 방법은 입력 이미지에서 분류적 영역을 강조하기 위해 주의 맵을 생성하는 경량 네트워크인 AttNet을 도입한다.
• AttNet의 주의 맵을 입력으로 받아 이미지를 국소화된 영역으로 자르는 데 필요한 애핀 변환 파라미터를 예측하는 AffNet을 사용한다.
• 자르기 연산은 이중선형 샘플링을 통해 미분 가능하므로 전체 모델을 엔드 투 엔드로 역전파할 수 있다.
• 모델은 교차 엔트로피 손실(L_CE), 임bedding 손실(L_emb), 그리고 두 가지 자기 지율 손실인 L_att와 L_aff를 조합하여 학습된다. 이 손실 함수들은 최종 합성곱층의 특징 맵 통계를 기반으로 한다.
• 자기 지율 손실 함수는 추가 애너테이션 없이도 국소화 정확도 향상을 위한 보조 감독 신호를 제공한다.
• 전체 시스템은 이미지 수준의 레이블만으로 학습되며, 모든 구성 요소 간에 효율적이고 통합된 학습이 가능하다.

실험 결과

연구 질문

• RQ1 다중 전파나 복잡한 학습 스케줄이 필요 없는 경량이며 엔드 투 엔드로 미분 가능한 국소화 모듈이 미세 구분 시각 분류 정확도 향상에 기여할 수 있는가?
• RQ2 특징 맵 통계에서 파생된 자기 지율 손실 함수가 기울기 기반 학습과 조합되었을 때 국소화 정확도 향상에 얼마나 효과적인가?
• RQ3 별도의 주의 네트워크와 애핀 변환 네트워크(AttNet 및 AffNet)의 통합이 표준 공간 변환 네트워크나 반복적 주의 메커니즘보다 더 높은 성능을 낼 수 있는가?
• RQ4 제안된 방법이 표준 FGVC 벤치마크에서 정확도와 학습 효율성 측면에서 기존 최신 기술 수준 방법들을 얼마나 뛰어나게 성능을 낼 수 있는가?

주요 결과

• 제안된 엔드 투 엔드 모델은 CUB200-2011 벤치마크에서 88.5%의 정확도를 달성하며, STN, RA-CNN, ISE와 같은 이전 방법들을 능가한다.
• Stanford Cars에서 모델은 95.3%의 정확도를 기록하여 최고 성능을 낸 API-Net과 동일하며, TResNet를 제외한 모든 다른 방법을 능가한다.
• FGVC-Aircraft에서 모델은 93.9%의 정확도를 기록하며, 최신 기술 수준의 API-Net과 동일한 성능을 달성하고, TBMSL-Net를 제외한 모든 다른 방법을 능가한다.
• 제거 실험 결과, 자기 지율 손실 함수를 비활성화하면 성능 저하가 발생함을 확인하여, 이 손실 함수가 국소화 정확도 향상에 핵심적인 역할을 한다는 것을 입증한다.
• 기울기 흐름과 자기 지율 감독 기능이 모두 활성화된 경우에 모델이 최고의 성능을 보이며, 공동 학습 전략의 효과성을 입증한다.
• 모델는 뛰어난 효율성을 유지하며, 반복적 또는 다중 전파 접근 방식과 달리 네트워크를 단일 순방향 전파만으로도 처리할 수 있다.