[논문 리뷰] TokenLearner: What Can 8 Learned Tokens Do for Images and Videos?

Michael S. Ryoo, AJ Piergiovanni외 3명|arXiv (Cornell University)|2021. 06. 21.

Human Pose and Action Recognition참고 문헌 47인용 수 12

한 줄 요약

TokenLearner는 이미지와 영상에서 중요한 시각 토큰 8~16개를 적응적으로 선택하는 학습 가능한 모듈을 도입하여, 비전 트랜스포머에서 고정된 패치 기반 토큰화 방식을 대체한다. 공간 주의 메커니즘을 활용해 주목할 만한 영역에 집중하고 각 레이어에서 처리하는 토큰 수를 줄임으로써, 이미지넷 및 여러 영상 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산량과 메모리 사용량을 50퍼센트 이상 절감한다.

ABSTRACT

In this paper, we introduce a novel visual representation learning which relies on a handful of adaptively learned tokens, and which is applicable to both image and video understanding tasks. Instead of relying on hand-designed splitting strategies to obtain visual tokens and processing a large number of densely sampled patches for attention, our approach learns to mine important tokens in visual data. This results in efficiently and effectively finding a few important visual tokens and enables modeling of pairwise attention between such tokens, over a longer temporal horizon for videos, or the spatial content in images. Our experiments demonstrate strong performance on several challenging benchmarks for both image and video recognition tasks. Importantly, due to our tokens being adaptive, we accomplish competitive results at significantly reduced compute amount. We obtain comparable results to the state-of-the-arts on ImageNet while being computationally more efficient. We also confirm the effectiveness of the approach on multiple video datasets, including Kinetics-400, Kinetics-600, Charades, and AViD. The code is available at: https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner

연구 동기 및 목표

• 비전 트랜스포머가 수천 개의 고정 패치나 튜브렛을 처리하는 데 높은 계산 비용이 발생하는 문제를 해결하기 위해.
• 균일하게 패치를 샘플링하는 대신 소수의 대표성 있는 토큰을 학습함으로써 이미지 및 영상 인식의 효율성과 정확도를 향상시키기 위해.
• 최소한의 계산 오버헤드로 장거리 공간적 및 시간적 의존성을 효과적으로 모델링할 수 있도록 하기 위해.
• 오직 8~16개의 학습된 토큰만으로도 수백 개의 고정 토큰을 사용하는 모델의 성능을 따라하거나 초월할 수 있는지 확인하기 위해.

제안 방법

• TokenLearner는 입력 특징에서 중요한 영역을 식별하기 위해 학습 가능한 공간 주의 메커니즘을 사용하여 고정 패치 기반 토큰화 방식을 대체한다.
• 특징 맵에서 주목할 만한 공간 영역을 강조하기 위해 컨볼루션 레이어나 MLP를 적용하여 주의 맵을 계산한다.
• 주의 맵을 입력 특징 맵에 적용하여 영역을 적응적으로 가중한 후, 공간 평균 풀링을 수행하여 소수의 학습된 토큰을 생성한다.
• 결과로 생성된 토큰들은 표준 트랜스포머 인코더에 입력되며, 채널 별 정보를 유지하는 벡터화된 자기주목 메커니즘을 통해 처리된다.
• 이 모듈은 비전 트랜스포머의 어떤 레이어에나 삽입할 수 있어 네트워크 전반에 걸쳐 탄력적인 통합과 계산 절감을 가능하게 한다.
• 이 방법은 공간 및 시공간 특징 맵에 동일한 메커니즘을 적용함으로써 이미지 및 영상 입력을 모두 지원한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머에서 조밀한 패치 토큰화 방식을 대체하기 위해 적응적으로 학습된 소수의 토큰이 성능을 저하시키지 않고도 사용될 수 있는가?
• RQ2 적응형 토큰 선택을 사용할 경우 이미지 및 영상 인식 작업에서 정확도는 향상되고 계산 비용은 감소하는가?
• RQ3 FLOPS와 정확도 측면에서 TokenLearner는 고정 패치 방법 및 다른 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ4 효율성과 성능을 극대화하기 위해 최적의 토큰 수(예: 8개 대비 16개)와 배치 위치는 무엇인가?

주요 결과

• TokenLearner는 FLOPS를 50퍼센트 이상 절감하면서도 최신 기술 수준의 이미지넷 top-1 정확도를 달성한다.
• Kinetics-400, Kinetics-600, Charades, AViD에서 TokenLearner 기반 모델은 프레임당 8~16개의 학습된 토큰만으로도 새로운 최신 기술 수준의 결과를 기록했다.
• 네트워크의 초기 레이어(예: 2번째 또는 3번째 레이어)에 TokenLearner를 삽입할 경우 더 높은 정확도와 더 큰 효율성 향상을 얻을 수 있었다.
• 아웃라이어 연구에서 벡터화된 트랜스포머 공식화는 표준 다중헤드 자기주목(MHSA)보다 우수한 성능을 보였으며, Charades에서 59.6%의 정확도를 달성했다.
• TokenLearner, 벡터화된 주의, TokenFuser 모듈의 조합이 가장 뛰어난 성능을 보였으며, Charades에서 59.6%의 정확도를 기록하여 전체 파이프라인의 효과성을 입증했다.