[논문 리뷰] OmniNet: Omnidirectional Representations from Transformers

Yi Wei Daniel Tay, Mohammad Dehghani외 7명|arXiv (Cornell University)|2021. 03. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 9

한 줄 요약

OmniNet는 메타러닝 기반의 전방위적 어텐션 메커니즘을 통해 네트워크의 모든 레이어에 걸친 모든 히든 표현에 각 토큰이 어텐션할 수 있도록 하는 혁신적인 트랜스포머 아키텍처를 도입한다. Performer와 같은 효율적인 어텐션 메커니즘 및 저질서 근사치를 활용함으로써, OmniNet은 언어 모델링, 기계 번역, 장거리 시퀀스 작업, 이미지 인식에서 최고 성능을 달성하며, 소수 샘플 이미지 분류에서 ViT를 최대 3% 향상시킨다.

ABSTRACT

This paper proposes Omnidirectional Representations from Transformers (OmniNet). In OmniNet, instead of maintaining a strictly horizontal receptive field, each token is allowed to attend to all tokens in the entire network. This process can also be interpreted as a form of extreme or intensive attention mechanism that has the receptive field of the entire width and depth of the network. To this end, the omnidirectional attention is learned via a meta-learner, which is essentially another self-attention based model. In order to mitigate the computationally expensive costs of full receptive field attention, we leverage efficient self-attention models such as kernel-based (Choromanski et al.), low-rank attention (Wang et al.) and/or Big Bird (Zaheer et al.) as the meta-learner. Extensive experiments are conducted on autoregressive language modeling (LM1B, C4), Machine Translation, Long Range Arena (LRA), and Image Recognition. The experiments show that OmniNet achieves considerable improvements across these tasks, including achieving state-of-the-art performance on LM1B, WMT'14 En-De/En-Fr, and Long Range Arena. Moreover, using omnidirectional representation in Vision Transformers leads to significant improvements on image recognition tasks on both few-shot learning and fine-tuning setups.

연구 동기 및 목표

• 표준 트랜스포머가 수직(시퀀스) 및 국소(레이어별) 맥락에만 수신 필드를 제한하는 한계를 해결하기 위해.
• 모든 레이어의 모든 토큰을 포함한 어텐션을 확장하면 표현 학습 및 모델 성능 향상에 기여하는지 탐색하기 위해.
• 전체 네트워크 어텐션의 고비용 계산을 효율적인 어텐션 메커니즘과 분할된 메타러닝을 통해 완화하기 위해.
• 전방위적 표현이 언어 모델링, 기계 번역, 장거리 추론, 이미지 인식 등 다양한 작업에 미치는 영향을 평가하기 위해.
• OmniNet의 성능-계산 트레이드오프를 분석하고 페레토 최적성(Pareto-optimality)을 입증하기 위해.

제안 방법

• OmniNet는 네트워크의 모든 레이어와 토큰의 모든 히든 표현을 처리하는 별도의 자기어텐션 모듈인 메타러닝 모듈을 사용한다.
• 메타러닝 모듈은 커널 기반 어텐션(e.g., Performer), 저질서 어텐션, 또는 블록 스퍼스 어텐션(e.g., Big Bird)과 같은 효율적인 어텐션 메커니즘을 사용하여 계산 비용을 감소시킨다.
• 모델은 메타러닝이 동시에 P개의 연속된 레이어 그룹에서 작동하도록, 레이어의 분할 블록(P=4,6,12 등)에 전방위적 어텐션을 적용한다.
• 전방위적 어텐션 이후, 풀링 연산이 각 토큰에 대해 모든 레이어에서 가장 관련성이 높은 값을 선택하여 표현의 풍부함을 향상시킨다.
• 이 방법은 자동회귀 언어 모델과 비전 트랜스포머(ViT) 모두에 적용되어 레이어 간 지식 통합을 가능하게 한다.
• 아키텍처는 표준 목표로 엔드 투 엔드로 훈련되며, 메타러닝 모듈은 미분 가능하므로 모든 레이어를 통해 기울기 흐름이 가능하다.

실험 결과

연구 질문

• RQ1 모든 레이어의 모든 토큰을 포함한 어텐션을 시퀀스 및 레이어 차원을 초월해 확장하면 모델 성능 향상에 기여할 수 있는가?
• RQ2 전체 네트워크 어텐션의 이차적 계산 비용은 어떻게 완화하면서 표현 성능의 이점을 유지할 수 있는가?
• RQ3 다양한 계층적 레이어의 표현 통합은 일반화 능력을 향상시키는가, 특히 소수 샘플 학습 및 장거리 시퀀스 모델링에서?
• RQ4 다양한 작업에서 최고 수준의 모델과 비교해 OmniNet의 정확도 및 효율성은 어떻게 평가되는가?
• RQ5 성능과 계산 비용을 균형 잡는 데 있어 메타러닝의 최적의 분할 크기는 무엇인가?

주요 결과

• OmniNet은 LM1B 언어 모델링 벤치마크에서 기존 모델인 Transformer-XL을 능가하는 최고 성능을 달성한다.
• WMT’14 영어-독일어 및 영어-프랑스어 번역 작업에서, OmniNet은 당시 최고 성능이었던 60층의 ADMIN 모델을 초월한다.
• 장거리 영역 벤치마크에서, OmniNet은 Performer 대비 +8.9% 향상되고, 기존 트랜스포머 대비 +2.6% 향상된다.
• ImageNet에서, OmniNet은 소수 샘플 선형 프로빙 및 미세조정 설정 모두에서 ViT 성능을 최대 약 3% 향상시킨다.
• 분할 크기 P=6일 때, OmniNet은 정확도 대비 FLOP 비율에서 P=4 및 P=12보다 뛰어난 성능-비용 균형을 달성한다.
• 시각화 결과, 풀링 메커니즘이 주로 초기 레이어에서 값을 추출하는 것으로 나타나, 세밀한 특징이 최종 표현으로 효과적으로 전파됨을 시사한다.