[논문 리뷰] Conditional Positional Encodings for Vision Transformers

Xiangxiang Chu, Zhi Tian외 3명|arXiv (Cornell University)|2021. 02. 22.

Advanced Neural Network Applications참고 문헌 28인용 수 404

한 줄 요약

이 논문은 지역 이미지 이웃에 조건부로 의존하는 위치 인코딩을 생성하는 Position Encoding Generator(PEG)를 도입해 CPVT가 더 긴 입력에 일반화되고 고정되거나 학습 가능한 절대 인코딩 대비 번역 등가성 및 전반적인 성능을 향상시킵니다.

ABSTRACT

We propose a conditional positional encoding (CPE) scheme for vision Transformers. Unlike previous fixed or learnable positional encodings, which are pre-defined and independent of input tokens, CPE is dynamically generated and conditioned on the local neighborhood of the input tokens. As a result, CPE can easily generalize to the input sequences that are longer than what the model has ever seen during training. Besides, CPE can keep the desired translation-invariance in the image classification task, resulting in improved performance. We implement CPE with a simple Position Encoding Generator (PEG) to get seamlessly incorporated into the current Transformer framework. Built on PEG, we present Conditional Position encoding Vision Transformer (CPVT). We demonstrate that CPVT has visually similar attention maps compared to those with learned positional encodings and delivers outperforming results. Our code is available at https://github.com/Meituan-AutoML/CPVT .

연구 동기 및 목표

• 비전 트랜스포머에서 고정형이거나 학습 가능한 절대 위치 인코딩의 한계를 동기 부여하고 해결한다.
• PEG를 사용한 동적이며 입력 조건부 위치 인코딩 체계(CPE)를 제안한다.
• Conditional Position encoding Vision Transformer(CPVT)을 구축하고 향상된 성능과 일반화를 입증한다.
• CPE가 번역 등가성을 보존하고 더 높은 입력 해상도 및 하위 작업으로 확장될 수 있음을 보인다.

제안 방법

• 입력 토큰의 지역 2-D 이웃에 조건부로 작용하는 위치 인코딩 제너레이터(PEG)를 도입한다.
• 커널 k와 적절한 패딩을 사용한 2-D 컨볼루션으로 PEG를 구현하여 E^{B×H×W×C} 인코딩을 생성한다.
• ViT/DeiT 설계를 따라 CPE를 비전 트랜스포머에 통합하여 CPVT를 구성하며, CPVT-Ti, CPVT-S, CPVT-B 변형을 포함한다.
• 클래스 토큰을 전역 평균 풀링으로 대체하여 공간 이동에 대해 불변한 분류를 위한 CPVT-GAP를 탐구한다.
• 실험적으로 더 높은 해상도로의 일반화 성능을 평가하고 학습 가능한 절대 인코딩 및 상대 인코딩과 비교한다.
• 우수한 정확도를 달성하면서 PEG의 파라미터 및 FLOP 오버헤드가 낮음을 입증한다.

실험 결과

연구 질문

• RQ1 지역 이웃에 조건부로 의존하는 위치 인코딩이 고정형 또는 학습 가능한 절대 인코딩보다 비전 트랜스포머의 성능을 향상시킬 수 있는가?
• RQ2 CPVT 모델은 더 긴 입력 시퀀스에 일반화하고 번역 등가 특성을 유지할 수 있는가?
• RQ3 GAP 대 클래스 토큰을 포함한 다양한 모델 규모와 해상도에서 PEG가 적용된 CPVT의 성능은 어떤가?
• RQ4 PEG의 파라미터/계산 오버헤드는 표준 위치 인코딩에 비해 어느 정도인가?
• RQ5 CPVT가 피라미드 트랜스포머 아키텍처와 세그멘테이션 및 탐지와 같은 다운스트림 작업을 개선할 수 있는가?

주요 결과

• CPVT는 ImageNet 상위 1위 정확도에서 고정형 또는 학습 가능한 절대 위치 인코딩을 사용하는 기존 비전 트랜스포머를 능가한다.
• PEG는 최소한의 파라미터 오버헤드를 도입한다(예: k=3, l=1인 CPVT-Ti의 경우 1,728 파라미터) 및 FLOPs 영향은 무시해도 될 정도다.
• CPVT는 더 높은 입력 해상도에 직접 일반화를 가능하게 한다(예: 384×384에서 CPVT-Ti가 224×224의 73.4%에서 74.2%로 향상).
• CPVT-GAP은 성능을 더욱 향상시키며 실험에서 비전 트랜스포머 중 최첨단 성능을 달성했다(예: CPVT-Ti-GAP 74.9% top-1 with GAP).
• 초기 인코더 블록 내에 위치한 PEG 배치가 강력한 성능을 내며, 0–5 위치의 PEG 배치가 종종 최적의 결과를 낸다.
• CPVT는 PEG를 사용할 때 PVT, Swin과 같은 피라미드 아키텍처에서도 번역 등가성 이점과 더 나은 성능을 보여준다.