[논문 리뷰] A Simple Interpretable Transformer for Fine-Grained Image Classification and Analysis

Dipanjyoti Paul, Arpita Chowdhury외 12명|arXiv (Cornell University)|2023. 11. 07.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

이 논문은 교차 어텐션을 통해 구분되는 이미지 속성의 국소화를 위해 디코더에서 클래스별 쿼리를 사용하는 간단하면서도 해석 가능한 Transformer 모델인 INTR를 제안한다. 각 클래스당 하나의 쿼리를 학습시킴으로써 INTR는 예측에 대한 충실한 어텐션 기반 해석을 가능하게 하며, 여덟 개인 미세 분류 데이터셋에서 최신 기준 성능을 달성하면서도 미세한 시각적 패턴을 드러낸다. 이는 생물학적 관찰과도 일치한다.

ABSTRACT

We present a novel usage of Transformers to make image classification interpretable. Unlike mainstream classifiers that wait until the last fully connected layer to incorporate class information to make predictions, we investigate a proactive approach, asking each class to search for itself in an image. We realize this idea via a Transformer encoder-decoder inspired by DEtection TRansformer (DETR). We learn "class-specific" queries (one for each class) as input to the decoder, enabling each class to localize its patterns in an image via cross-attention. We name our approach INterpretable TRansformer (INTR), which is fairly easy to implement and exhibits several compelling properties. We show that INTR intrinsically encourages each class to attend distinctively; the cross-attention weights thus provide a faithful interpretation of the prediction. Interestingly, via "multi-head" cross-attention, INTR could identify different "attributes" of a class, making it particularly suitable for fine-grained classification and analysis, which we demonstrate on eight datasets. Our code and pre-trained models are publicly accessible at the Imageomics Institute GitHub site: https://github.com/Imageomics/INTR.

연구 동기 및 목표

• 이미지 분류에 대한 표준 딥 러닝 모델에서 내재된 해석 가능성의 부족을 해결하기 위해.
• 후행적 어텐션 해석에 의존하는 것 대신, 모델이 이미지 내에서 클래스별 패턴을 능동적으로 탐색하도록 하기 위해.
• 보조 감독 신호나 복잡한 훈련 없이도 자연스럽게 충실한 클래스별 어텐션 맵을 생성하는 방법을 개발하기 위해.
• 모델의 해석 가능성과 다양한 미세 분류 시각 인식 작업에 대한 일반화 능력을 검증하기 위해.
• 멀티헤드 교차 어텐션 기반 모델이 시각적으로 유사한 클래스들 간에 서로 다른 특징을 일관되게 식별할 수 있는지 확인하기 위해.

제안 방법

• 모델은 입력 이미지의 패치 단위 특징을 추출하기 위해 표준 비전 트랜스포머 인코더를 사용한다.
• 학습 가능한 클래스별 쿼리(클래스당 하나)를 갖는 디코더를 도입하며, 이 쿼리들이 디코더의 입력으로 제공된다.
• 클래스별 쿼리와 이미지 특징 간의 교차 어텐션을 통해 각 클래스가 이미지 내에서 자신의 고유한 패턴에 주목할 수 있도록 한다.
• 디코더 내부의 자체 어텐션은 후보 클래스 간의 맥락적 관계를 인코딩하여 분류를 유도한다.
• 최종 예측은 교차 어텐션을 통해 생성된 클래스별 이미지 특징을 공통의 클래스 무관 벡터와 도트 곱 연산을 통해 비교함으로써 이루어진다.
• 모델는 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 추론 시 어텐션 무게에서 직접적으로 해석을 도출한다.

실험 결과

연구 질문

• RQ1 각 클래스가 자신의 시각적 패턴을 스스로 탐색하도록 설계된 트랜스포머 기반 모델을 통해 예측을 내재적으로 해석할 수 있는가?
• RQ2 디코더에서 클래스별 쿼리를 사용하면 구분되는 특징을 강조하는 충실한 해석 가능한 교차 어텐션 맵을 얻을 수 있는가?
• RQ3 멀티헤드 교차 어텐션은 이미지 간 일관되게 클래스의 서로 다른 의미적 특징을 국소화할 수 있는가?
• RQ4 모델은 특히 시각적으로 유사한 클래스들을 구분하는 데서 미세 분류 작업에서 어떤 성능을 보이는가?
• RQ5 모델의 어텐션은 특징 수준의 이미지 수정에 얼마나 민감한가?

주요 결과

• INTR는 CUB-200-2011, Stanford Dogs, FGVC-Aircraft를 포함한 여덟 개의 미세 분류 이미지 분류 벤치마크에서 최신 기준 성능 또는 경쟁력 있는 정확도를 달성했다.
• INTR가 생성한 교차 어텐션 맵은 모든 데이터셋에서 눈 주머니, 날개 무늬, 부리 모양과 같은 구분되는 특징을 일관되게 국소화했다.
• Heliconius melpomene와 Heliconius elevatus와 같은 시각적으로 유사한 종에 대해 테스트한 결과, 생물학적 주석과 일치하는 미세한 차이를 INTR가 국소화했다.
• 모델는 특징 수준의 이미지 수정에 매우 민감했다: 핵심 특징을 삭제하거나 추가하면 어텐션 맵에 심각한 변화가 발생하여 어텐션이 시각적 의미에 기반하고 있음을 확인했다.
• 입력 쿼리를 시각적으로 유사한 클래스들로 제한함으로써 INTR는 미세한 차이를 탐지하는 능력을 향상시켰으며, 맥락 인식 어텐션 학습의 가능성을 시사했다.
• 수학적 분석을 통해 크로스 엔트로피 손실 최소화가 각 클래스별로 구분되는 교차 어텐션 패턴을 유도함을 확인했으며, 이는 특별한 설계 없이도 충실한 해석이 보장됨을 의미한다.