[논문 리뷰] SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization

Hongbo Sun, Xiangteng He외 1명|arXiv (Cornell University)|2022. 08. 31.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 시각 트랜스포머 기반 프레임워크인 SIM-Trans를 제안하며, 구조 정보 학습(SIL) 모듈을 통해 객체 구조를 모델링하고 다중 수준 특징 강화(MFB)를 통해 미세 분류 성능을 향상시킨다. SIL 모듈은 시각 트랜스포머의 자기주의 주의 맵을 활용해 분류에 기여하는 패치 간의 공간적 관계를 포착하며, MFB는 다중 수준 특징과 대조 학습을 통합하여 특징의 강건성을 향상시킨다. 이는 CUB-200-2011 및 iNaturalist 2017 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Fine-grained visual categorization (FGVC) aims at recognizing objects from similar subordinate categories, which is challenging and practical for human's accurate automatic recognition needs. Most FGVC approaches focus on the attention mechanism research for discriminative regions mining while neglecting their interdependencies and composed holistic object structure, which are essential for model's discriminative information localization and understanding ability. To address the above limitations, we propose the Structure Information Modeling Transformer (SIM-Trans) to incorporate object structure information into transformer for enhancing discriminative representation learning to contain both the appearance information and structure information. Specifically, we encode the image into a sequence of patch tokens and build a strong vision transformer framework with two well-designed modules: (i) the structure information learning (SIL) module is proposed to mine the spatial context relation of significant patches within the object extent with the help of the transformer's self-attention weights, which is further injected into the model for importing structure information; (ii) the multi-level feature boosting (MFB) module is introduced to exploit the complementary of multi-level features and contrastive learning among classes to enhance feature robustness for accurate recognition. The proposed two modules are light-weighted and can be plugged into any transformer network and trained end-to-end easily, which only depends on the attention weights that come with the vision transformer itself. Extensive experiments and analyses demonstrate that the proposed SIM-Trans achieves state-of-the-art performance on fine-grained visual categorization benchmarks. The code is available at https://github.com/PKU-ICST-MIPL/SIM-Trans_ACMMM2022.

연구 동기 및 목표

• 기존의 미세 분류 방법이 분류에 기여하는 영역 간의 상호의존성과 전체적인 객체 구조를 간과하는 한계를 해결하기 위해.
• 시각 트랜스포머에 외관 정보와 구조 정보를 통합하여 분류에 기여하는 표현 학습을 향상시키기 위해.
• 추가 애너테이션 없이도 특징 정렬 및 강건성을 향상시킬 수 있는 경량형 플러그인 모듈을 개발하기 위해.
• iNaturalist 2017과 같은 대규모 및 미세 분류 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 구조 정보 학습(SIL) 모듈은 시각 트랜스포머의 자기주의 주의 맵을 활용해 객체 내 중요한 패치 간의 공간적 맥락 관계를 탐지함으로써 모델에 구조 인식 능력을 통합한다.
• SIL 모듈은 트랜스포머의 여러 레이어에 적용되며, 세 개의 레이어에 삽입했을 때 최고의 성능를 기록하여 공간적 추론 능력과 분류에 기여하는 영역에 대한 주의 집중을 향상시킨다.
• 다중 수준 특징 강화(MFB) 모듈은 트랜스포머의 다양한 레이어에서의 특징을 융합하여 상호 보완적인 표현을 활용하고 강건성을 향상시킨다.
• MFB는 학습 가능한 온도 하이퍼파라미터 α를 활용한 대조 학습을 통합하여 어려운 음성 샘플을 강조하고 특징의 분류 능력을 향상시킨다.
• 두 모듈은 경량이며, 시각 트랜스포머 아키텍처에 쉽게 통합되어 트랜스포머에 내재된 주의 맵만을 사용하여 엔드 투 엔드 학습이 가능하다.
• 모델은 교차 엔트로피 손실과 대조 손실을 함께 사용하여 엔드 투 엔드로 학습되며, 분류와 특징 표현의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 미세 분류를 위한 시각 트랜스포머에서 객체 구조 정보를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 추가 감독 없이 자기주의 주의 맵을 활용해 분류에 기여하는 패치 간의 공간적 의존성을 포착할 수 있는가?
• RQ3 다중 수준 특징 융합과 대조 학습을 조합하면 미세 분류에서 특징의 강건성과 정확도를 향상시킬 수 있는가?
• RQ4 시각 트랜스포머에 구조 인식 모듈을 삽입할 때 최적의 깊이와 구성은 무엇인가?
• RQ5 주의 맵만을 기반으로 하는 플러그인 모듈이 대규모 미세 분류 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 SIM-Trans는 CUB-200-2011 벤치마크에서 91.8%의 Top-1 정확도를 기록하여 기준 모델보다 1.2%p 높은 성능를 달성한다.
• 구조 정보 학습(SIL) 모듈만으로도 기준 모델 대비 0.5%p의 정확도 향상을 기록하여 구조 이해도 향상의 효과를 입증한다.
• 대조 학습을 통합한 MFB 모듈을 추가로 적용함으로써 성능이 추가로 0.4%p 향상되어 어려운 음성 샘플 강조와 특징 분류 능력 향상의 효과를 확인할 수 있다.
• 제거 분석 결과, SIL을 세 개의 트랜스포머 레이어에 삽입했을 때 최고의 성능를 기록하여 수신 필드와 정밀도 간의 최적의 균형을 이룬다는 것을 시사한다.
• 95,000장 이상의 테스트 이미지와 5,000개 이상의 카테고리가 포함된 대규모 iNaturalist 2017 벤치마크에서 SIM-Trans는 최신 기술 수준의 성능를 기록하여 확장성과 일반화 능력을 입증한다.
• 하이퍼파rameter 분석 결과, MFB 모듈에서 α = 0.3일 때가 최고의 성능를 기록하며, 이는 높은 값이 쉬운 음성 샘플까지 포함시켜 성능 저하를 초래하기 때문이다.