[논문 리뷰] Progressive Co-Attention Network for Fine-grained Visual Classification

Tian Zhang, Dongliang Chang외 2명|arXiv (Cornell University)|2021. 01. 21.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 미세 분류 시각 인식에서 쌍의 동일 카테고리 이미지 입력을 활용하여 특징 학습을 향상시키는 새로운 방법인 프로그레시브 공액 주의 네트워크(PCA-Net)를 제안한다. 공액 주의 모듈을 통해 이미지 쌍 간의 채널별 상호작용을 모델링하고 주의 제거 모듈을 적용하여 상보적인 특징을 발견함으로써, PCA-Net은 최신 기준 성능을 달성하여 CUB-200-2011에서 88.9%의 top-1 정확도, Stanford Cars에서 94.6%, FGVC Aircraft에서 92.8%를 기록한다.

ABSTRACT

Fine-grained visual classification aims to recognize images belonging to multiple sub-categories within a same category. It is a challenging task due to the inherently subtle variations among highly-confused categories. Most existing methods only take an individual image as input, which may limit the ability of models to recognize contrastive clues from different images. In this paper, we propose an effective method called progressive co-attention network (PCA-Net) to tackle this problem. Specifically, we calculate the channel-wise similarity by encouraging interaction between the feature channels within same-category image pairs to capture the common discriminative features. Considering that complementary information is also crucial for recognition, we erase the prominent areas enhanced by the channel interaction to force the network to focus on other discriminative regions. The proposed model has achieved competitive results on three fine-grained visual classification benchmark datasets: CUB-200-2011, Stanford Cars, and FGVC Aircraft.

연구 동기 및 목표

• 미세 분류 시각 인식의 과제를 해결하기 위해, 미세한 내부 클래스 변형과 낮은 간클래스 차이로 인해 인식이 어려운 문제를 다루기 위해.
• 기존 방법들이 단일 이미지만 처리하는 데서 비롯되는 한계를 극복하기 위해, 이미지 간 대비적 단서를 활용할 수 있는 능력이 제한됨.
• 동일 카테고리 이미지 쌍 간의 공통 특징과 상보적 특징을 모두 모델링하여 특징 학습을 향상시키기 위해.
• 복잡한 아키텍처 없이도 주목적 영역과 미세한 영역에 걸쳐 주의 분포를 향상시키는 경량형 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 공액 주의 모듈(CA-Module)은 평탄화된 특징 맵 간의 이중선형 연산을 사용하여 동일 카테고리 이미지 쌍의 특징 맵 간 채널별 유사도를 계산하고, 공통적인 분류 특징을 강조하기 위해 가중치 행렬을 생성한다.
• 주의 제거 모듈(AE-Module)은 CA-Module이 식별한 가장 두드러진 주의 영역을 억제함으로써, 네트워크가 대체로 상보적인 분류 특징 영역에 집중하도록 유도한다.
• CA-Module과 AE-Module은 점진적으로 적용된다: 먼저 공통 특징을 강조하고, 그 다음에 이를 제거하여 숨겨진 미세한 특징을 드러낸다.
• 모델은 백본으로 ResNet-50를 사용하고, 특징의 응집성과 분류 가능성을 향상시키기 위해 중심 손실(Center Loss)을 통합한다.
• 학습 중에는 무작위 자르기와 수평 뒤집기와 같은 데이터 증강 기법을 적용하며, 추론 시에는 중심 자르기만 사용한다.
• SGD를 사용하여 180 에포크 동안 학습하며, 기본 학습률은 0.01로 설정하고, 매 2 에포크마다 0.9로 감소시키며 배치 크기는 32이다.

Figure 1: The motivation of the proposed method. Most previous methods only took an individual image as input, and the relationship between images was not explored. In our work, we input a pair of same-category images and model the channel interaction between them to capture their common features.

실험 결과

연구 질문

• RQ1 동일 카테고리 이미지 쌍 간의 채널별 상호작용을 모델링하면 미세 분류를 위한 특징 학습이 향상되는가?
• RQ2 가장 활성화된 주의 영역을 억제하면 네트워크가 상보적이고 미세한 특징을 발견하는 데 도움이 되는가?
• RQ3 진행적 공액 주의 메커니즘은 단일 이미지 기반 베이스라인 대비 정확도와 내성 면에서 어떻게 비교되는가?
• RQ4 CA-Module과 AE-Module은 개별적으로나 함께 작용할 때 모델 성능에 얼마나 기여하는가?

주요 결과

• PCA-Net은 CUB-200-2011 데이터셋에서 88.9%의 top-1 정확도를 기록하여 API-Net(88.6%)를 능가하고 최신 기준 성능과 동일한 성능을 달성한다.
• Stanford Cars 데이터셋에서는 94.6%의 top-1 정확도를 기록하여, 강성 있고 변동성이 낮은 물체에 대해 강력한 성능을 보였다.
• FGVC Aircraft 데이터셋에서는 92.8%의 top-1 정확도를 기록하여, 다양한 미세 분류 카테고리 간 효과적인 일반화 능력을 보였다.
• 절단 실험 결과, CA-Module, AE-Module, 중심 손실을 모두 조합한 경우 88.3%의 정확도를 기록하여 모든 설정 중에서 가장 높은 성능을 보였으며, 구성 요소 간의 상호보완성이 확인되었다.
• Grad-CAM 시각화 결과, PCA-Net은 벌새의 날개, 발톱, 부리 등 여러 분류 특징 영역에 주목하는 반면, ResNet-50는 부리와 같은 두드러진 영역에만 집중하는 것으로 확인되었다.
• 절단 실험 결과, CA-Module만 사용할 경우 정확도가 86.8%로 향상되고, AE-Module만 사용할 경우 86.5%로 향상되며, 중심 손실과 함께 조합하면 최고의 성능인 88.3%를 기록하였다.

Figure 2: The framework of the progressive co-attention network (PCA-Net). The CA-Module can model the channel-wise interaction within a pair of same-category images to focus on the prominent areas with common characteristics. The AE-Module can erase the images to distract attention to other areas t