[논문 리뷰] So-ViT: Mind Visual Tokens for Vision Transformer.

Jiangtao Xie, Ruiren Zeng외 3명|arXiv (Cornell University)|2021. 04. 22.

Advanced Neural Network Applications참고 문헌 14인용 수 11

한 줄 요약

So-ViT는 시각 토큰의 이阶 상관공분산 풀링과 클래스 토큰을 함께 활용함으로써, 사전 훈련 없이도 훈련할 때 성능을 향상시키는 새로운 비전 트랜스포머 아키텍처를 제안한다. 또한 경량의 계층적 컨볼루션 기반 토큰 임베딩 모듈을 도입한다. 이 방법은 사전 훈련 없이 ImageNet-1K에서 최고 성능을 기록하며, ViT 변종과 CNN보다 뛰어난 성능을 보인다.

ABSTRACT

Recently the vision transformer (ViT) architecture, where the backbone purely consists of self-attention mechanism, has achieved very promising performance in visual classification. However, the high performance of the original ViT heavily depends on pretraining using ultra large-scale datasets, and it significantly underperforms on ImageNet-1K if trained from scratch. This paper makes the efforts toward addressing this problem, by carefully considering the role of visual tokens. First, for classification head, existing ViT only exploits class token while entirely neglecting rich semantic information inherent in high-level visual tokens. Therefore, we propose a new classification paradigm, where the second-order, cross-covariance pooling of visual tokens is combined with class token for final classification. Meanwhile, a fast singular value power normalization is proposed for improving the second-order pooling. Second, the original ViT employs the naive embedding of fixed-size image patches, lacking the ability to model translation equivariance and locality. To alleviate this problem, we develop a light-weight, hierarchical module based on off-the-shelf convolutions for visual token embedding. The proposed architecture, which we call So-ViT, is thoroughly evaluated on ImageNet-1K. The results show our models, when trained from scratch, outperform the competing ViT variants, while being on par with or better than state-of-the-art CNN models. Code is available at this https URL

연구 동기 및 목표

• ImageNet-1K에서 사전 훈련 없이 훈련할 때 비전 트랜스포머의 낮은 성능 문제를 해결한다. 이는 강력한 사전 훈련 의존성 덕분이다.
• ViT의 클래스 토큰의 한계를 극복하기 위해 고수준의 시각 토큰에서 풍부한 의미 정보를 활용한다.
• 국소성과 번역 불변성을 모델링하는 계층적이고 컨볼루션 기반의 임베딩 모듈을 도입함으로써 토큰 표현 학습을 향상시킨다.
• 이阶 풀링의 계산 효율성과 안정성을 향상시키기 위해 빠른 정규화 기법을 개발한다.
• ImageNet-1K 사전 훈련 없이도 최고 성능을 기록하는 CNN 및 ViT 변종과 경쟁하거나 승승을 거두는 정확도를 달성한다.

제안 방법

• 모든 시각 토큰의 이阶 상관공분산 풀링을 활용해 토큰 간 관계를 캡처하는 새로운 분류 헤드를 제안한다.
• 이阶 풀링 연산의 안정성과 속도를 향상시키기 위해 빠른 특이값 거듭제곱 정규화 방법을 도입한다.
• 기존의 고정 크기 패치 임베딩을 대체하기 위해 경량의 계층적 컨볼루션 모듈을 설계한다. 이는 국소 패턴과 번역 불변성을 더 잘 모델링할 수 있도록 한다.
• 계층적 컨볼루션 임베딩을 ViT 기반 구조에 통합하여 입력 이미지에서 더 정보가 풍부한 시각 토큰을 생성한다.
• ImageNet-1K에서 사전 훈련 없이 전체 So-ViT 모델을 엔드 투 엔드로 끝까지 훈련한다.
• 모든 시각 토큰에 주의를 기울이는 학습 가능한 클래스 토큰을 사용하며, 최종 예측은 풀링된 시각 토큰 특징과 클래스 토큰에서 유도된다.

실험 결과

연구 질문

• RQ1 클래스 토큰 외의 고수준 시각 토큰을 활용하면 제로샷 및 사전 훈련 없이도 ViT의 성능을 향상시킬 수 있는가?
• RQ2 시각 토큰의 이阶 상관공분산 풀링은 이미지 분류에 있어서 구분 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 경량의 컨볼루션 모듈은 ViT의 자기주의성 주의 효율성을 유지하면서도 시각 토큰 표현 학습을 향상시킬 수 있는가?
• RQ4 제안된 빠른 특이값 거듭제곱 정규화 기법은 이阶 풀링의 안정성과 속도를 향상시키는가?
• RQ5 사전 훈련 없이 훈련된 ViT 변종이 ImageNet-1K에서 최고 성능을 기록하는 CNN보다 경쟁력 있거나 승승을 거두는가?

주요 결과

• So-ViT는 사전 훈련 없이 ImageNet-1K에서 최고 성능을 기록하며, 기존의 ViT 변종을 능가한다.
• 제안된 이阶 상관공분산 풀링은 고수준 시각 토큰에서 유래한 풍부한 의미 정보를 활용함으로써 분류 성능을 크게 향상시킨다.
• 계층적 컨볼루션 임베딩 모듈은 국소 인식 편향과 번역 불변성을 강화하여 더 나은 특징 표현을 이끈다.
• 빠른 특이값 거듭제곱 정규화는 효율적이고 안정적인 이阶 풀링을 가능하게 하여 훈련 수렴을 향상시킨다.
• So-ViT는 사전 훈련 없이도 최고 성능을 기록하는 CNN 모델과 동등하거나 그 이상의 성능을 달성한다.
• 제거 실험 결과는 풀링된 시각 토큰 헤드와 계층적 임베딩이 최종 정확도 향상에 크게 기여한다는 것을 확인한다.