[논문 리뷰] Fine-Grained Visual Classification using Self Assessment Classifier

Tuong Do, Huy Tran외 3명|arXiv (Cornell University)|2022. 05. 21.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 상위-k 예측을 공동으로 개선하고, 유감스러운, 클래스 간 유사한 영역을 억제하기 위해 비지도 학습 방식으로 주의 맵을 생성함으로써 세분화된 시각 분류를 향상시키는 자기 평가 분류기(SAC)를 제안한다. SAC는 보조 브랜치로 작동하며, 훈련 중에 비차별적인 이미지 영역을 동적으로 제거함으로써 CUB-200-2011, Stanford Dogs, FGVC Aircraft 데이터셋에서 최신 기준 성능을 달성하며 평균 1.2%의 정확도 향상을 이룬다.

ABSTRACT

Extracting discriminative features plays a crucial role in the fine-grained visual classification task. Most of the existing methods focus on developing attention or augmentation mechanisms to achieve this goal. However, addressing the ambiguity in the top-k prediction classes is not fully investigated. In this paper, we introduce a Self Assessment Classifier, which simultaneously leverages the representation of the image and top-k prediction classes to reassess the classification results. Our method is inspired by continual learning with coarse-grained and fine-grained classifiers to increase the discrimination of features in the backbone and produce attention maps of informative areas on the image. In practice, our method works as an auxiliary branch and can be easily integrated into different architectures. We show that by effectively addressing the ambiguity in the top-k prediction classes, our method achieves new state-of-the-art results on CUB200-2011, Stanford Dog, and FGVC Aircraft datasets. Furthermore, our method also consistently improves the accuracy of different existing fine-grained classifiers with a unified setup.

연구 동기 및 목표

• 세분화된 시각 분류에서 클래스 간 유사성으로 인한 혼동 문제를 해결하기 위해.
• 비용이 많이 드는 인간 레이블링된 부분 위치에 대한 의존도를 줄이기 위해, 비지도 방식으로 유의미한 영역을 학습하기 위해.
• 훈련 중 상위-k 예측 결과를 재평가함으로써 딥 백본의 특징 분류 능력을 향상시키기 위해.
• 기존의 세분화된 분류기의 아키텍처를 대대적으로 수정하지 않고도 기능을 향상시킬 수 있는 플러그 앤 플레이 모듈을 개발하기 위해.
• 분류 정확도 향상과 국소화 정확도 향상을 위해 분류에 유의미한 부분에 집중하는 주의 맵을 생성하기 위해.

제안 방법

• SAC는 상위-k 예측된 클래스를 평가하고 그 신뢰도를 재가중하여 혼동을 줄이는 자기 평가 메커니즘을 도입한다.
• 이 방법은 비지도 방식으로 주의 맵을 생성하여, 구분하기 어려운 클래스를 구별하는 데 가장 정보가 많은 이미지 영역을 강조한다.
• 이러한 주의 맵은 훈련 중 비차별적이거나 오해의 소지가 있는 영역을 동적으로 제거하는 데 사용되어 특징 학습을 향상시킨다.
• SAC는 백본 네트워크에 연결된 보조 브랜치로 작동하여 최소한의 수정으로도 엔드 투 엔드 훈련이 가능하다.
• 자기 평가 헤드에 클래스 이름을 입력하여 주의 맵과 특징 개선을 안내하는 추가적인 지도 신호를 제공한다.
• 이 방법은 다양한 백본 아키텍처(예: ResNet-50)에 통합되어 여러 세분화된 벤치마크에서 테스트된다.

실험 결과

연구 질문

• RQ1 자기 평가 메커니즘이 세분화된 분류의 상위-k 예측에서 혼동을 효과적으로 줄일 수 있는가?
• RQ2 인간 레이블링된 영역 없이도 비지도 방식으로 분류에 유의미한 부분에 집중하는 주의 맵을 생성할 수 있는가?
• RQ3 훈련 중에 혼동스러운 이미지 영역을 동적으로 제거함으로써 특징의 분류 능력과 분류 정확도가 향상되는가?
• RQ4 SAC는 다양한 세분화된 분류기에 통합되어 일관된 성능 향상을 이룰 수 있는가?
• RQ5 지난 약한 지도 학습 및 주의 기반 방법과 비교해 볼 때, 국소화 정확도와 상위-1 정확도 측면에서 SAC는 어떻게 성능을 내는가?

주요 결과

• SAC는 CUB-200-2011, Stanford Dogs, FGVC Aircraft 데이터셋에서 최신 기준 성능을 달성하며 기준 모델 대비 평균 1.2%의 정확도 향상을 이룬다.
• 이 방법은 통일된 훈련 환경에서 여러 기존의 세분화된 분류기의 정확도를 일관되게 향상시킨다.
• 시각화 결과 상위-10 예측에서 잘못된 클래스의 신뢰도 점수가 크게 낮아져 클래스 간 혼동이 감소한 것으로 나타났다.
• SAC의 국소화 성능은 무작위 자르기와 주의 지도 기반 자르기보다 더 뛰어나, 보다 분류에 특화된 영역에 집중한다.
• SAC가 생성한 주의 맵은 새의 머리 색상이나 항공기 엔진의 형태와 같은 핵심 차별 특징을 더 정확하게 강조한다.
• 학습 및 추론 시간에 약 10%의 추가 비용이 발생하지만, 성능 향상의 비용 효율성이 높다.