[논문 리뷰] ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator

Zi-Chao Zhang, Zhen-Duo Chen외 3명|arXiv (Cornell University)|2022. 03. 24.

Advanced Neural Network Applications인용 수 11

한 줄 요약

ViT-FOD는 세 가지 새로운 구성요소를 도입함으로써 성능을 향상시키는 비전 트랜스포머 기반 프레임워크를 제안한다: 다층 클래스 토큰 융합을 위한 보완 토큰 통합(CTI), 패치 교환을 통한 배경 감소 데이터 증강을 위한 주의 패치 조합(APC), 그리고 분류 가능한 국소 영역에 집중하기 위한 핵심 영역 필터(CRF). 이 방법은 CUB-200-2011에서 91.75%의 최고 성능을 기록하며 표준 FGVC 벤치마크에서 최신 기술 수준을 달성한다.

ABSTRACT

Recently, several Vision Transformer (ViT) based methods have been proposed for Fine-Grained Visual Classification (FGVC).These methods significantly surpass existing CNN-based ones, demonstrating the effectiveness of ViT in FGVC tasks.However, there are some limitations when applying ViT directly to FGVC.First, ViT needs to split images into patches and calculate the attention of every pair, which may result in heavy redundant calculation and unsatisfying performance when handling fine-grained images with complex background and small objects.Second, a standard ViT only utilizes the class token in the final layer for classification, which is not enough to extract comprehensive fine-grained information. To address these issues, we propose a novel ViT based fine-grained object discriminator for FGVC tasks, ViT-FOD for short. Specifically, besides a ViT backbone, it further introduces three novel components, i.e, Attention Patch Combination (APC), Critical Regions Filter (CRF), and Complementary Tokens Integration (CTI). Thereinto, APC pieces informative patches from two images to generate a new image so that the redundant calculation can be reduced. CRF emphasizes tokens corresponding to discriminative regions to generate a new class token for subtle feature learning. To extract comprehensive information, CTI integrates complementary information captured by class tokens in different ViT layers. We conduct comprehensive experiments on widely used datasets and the results demonstrate that ViT-FOD is able to achieve state-of-the-art performance.

연구 동기 및 목표

• 표준 비전 트랜스포머가 미세 분류 시각 분류에서 겪는 한계, 특히 복잡한 배경에서의 불필요한 계산과 다층 클래스 토큰 표현의 낭비를 해결하기 위해.
• 비정보성 배경 패치를 다른 이미지의 분류 가능한 패치로 교체함으로써 비트랜스포머의 계산 중복을 줄이기 위해 새로운 패치 조합 기법을 도입하기 위해.
• 주목할 만한 물체 부분에서 온 토큰을 우선시하는 학습 가능한 필터를 통해 임계적이고 분류 가능한 영역에 초점을 맞춤으로써 특징 학습을 향상시키기 위해.
• 단지 최종 레이어에 의존하는 것만 아니라, 여러 비트랜스포머 레이어에서의 클래스 토큰에서 유래한 보완적 특징을 융합함으로써 분류 성능을 향상시키기 위해.
• 기존의 CNN 및 비트랜스포머 기반 방법보다 더 효율적이고 정확한 프레임워크를 개발하여 미세 분류 객체 인식 성능을 향상시키기 위해.

제안 방법

• 보완 토큰 통합(CTI)은 비트랜스포머 인코더의 여러 레이어에서 온 클래스 토큰을 융합하여 전반적이고 미세한 특징를 포착함으로써 표현 학습을 향상시킨다.
• 주의 패치 조합(APC)은 두 입력 이미지에서 유의미한 패치를 조합하여 새로운 훈련 이미지를 생성함으로써 배경 노이즈를 줄이고 효과적인 데이터 증강을 가능하게 한다.
• 핵심 영역 필터(CRF)는 학습 가능한 임계값(η)을 사용해 저주의 주의 토큰을 필터링하여 모델이 분류 가능한 물체 부분에 집중하고 불필요한 계산을 줄인다.
• APC 모듈은 두 이미지 간의 주의 점수에 기반해 패치를 교환하여 배경 패치를 다른 이미지의 고주의 주의 패치로 교체함으로써 더 정보가 풍부한 입력을 생성한다.
• CRF 모듈은 클래스 토큰 주의 맵에 학습 가능한 마스크를 적용하여 분류에 가장 관련성이 높은 토큰만 유지하며, η는 필터의 희박성(스퍼스리티)를 제어한다.
• 전체 프레임워크는 CTI, APC, CRF를 비트랜스포머 백본에 통합하여 개선된 특징 추출 및 분류 정확도를 달성하는 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 배경을 가진 미세 분류 이미지를 처리할 때 비트랜스포머의 불필요한 계산을 줄이기 위해 어떻게 개선할 수 있는가?
• RQ2 비트랜스포머의 여러 레이어에서 온 클래스 토큰을 융합하는 것이 최종 레이어만 사용하는 것보다 더 나은 미세 분류 특징 표현을 가능하게 하는가?
• RQ3 다른 이미지에서 정보가 풍부한 패치로 배경 패치를 교체하는 패치 조합 기법을 통해 일반화 성능과 성능 향상이 이루어지는가?
• RQ4 가장 분류 가능한 영역에만 초점을 맞추는 학습 가능한 필터는 모델 정확도와 훈련 효율성을 향상시키는가?
• RQ5 비트랜스포머 기반 미세 분류 분류의 맥락에서, 제안된 ViT-FOD 프레임워크는 CutMix 및 MixUp과 같은 표준 데이터 증강 기법보다 어떻게 비교되는가?

주요 결과

• ViT-FOD는 CUB-200-2011 데이터셋에서 91.75%의 최고 성능을 기록하여 기준 ViT-B/16보다 1.95%p 높은 정확도를 달성한다.
• 핵심 영역 필터(CRF)의 최적 하이퍼파라미터 η는 0.2이며, 이는 가장 높은 성능을 내며 저주의 주의 토큰을 제거함으로써 분류 정확도가 향상됨을 시사한다.
• 주의 패치 조합(APC) 모듈은 p=4일 때 최고의 정확도를 기록하며, 이는 이미지를 네 부분으로 나누어 패치 교환을 수행함으로써 특징의 세분성과 계산 효율성 사이의 균형을 이룬다.
• 표준 데이터 증강 방법과 비교했을 때 APC는 Cutout(89.4%), Mixup(90.1%), CutMix(90.3%)를 모두 능가하여 91.2%의 정확도를 기록하며, 비트랜스포머 기반 FGVC에서의 우월성을 입증한다.
• 제거 실험 결과, CTI, APC, CRF 각각이 성능 향상에 기여하며, 전체 모델은 평가된 모든 데이터셋에서 최고의 성능을 기록한다.
• CRF 마스크의 시각화 결과는 방법이 배경 패치를 억제하면서도 물체 영역을 효과적으로 강조함으로써 분류 가능한 부분에 집중하는 능력을 확인한다.