[논문 리뷰] Demystifying the Better Performance of Position Encoding Variants for Transformer

Pu-Chin Chen, Henry Tsai외 4명|arXiv (Cornell University)|2021. 04. 18.

Natural Language Processing Techniques참고 문헌 21인용 수 7

한 줄 요약

이 논문은 학습된 상대적 위치 임베딩을 사용하여 트랜스포머 모델에 직접적으로 위치 및 세그먼트 정보를 인코딩하는 단순하면서도 효과적인 방법을 제안한다. 이 방법은 계산 비용을 줄이며 GLUE, XTREME, WMT 벤치마크에서 최신 기술(SOTA) 성능을 달성한다. 표준 절대적 위치 인코딩에 비해 일반화 능력과 효율성이 향상된다.

ABSTRACT

Transformers are state of the art models in NLP that map a given input sequence of vectors to an output sequence of vectors. However these models are permutation equivariant, and additive position embeddings to the input are used to supply the information about the order of the input tokens. Further, for some tasks, additional additive segment embeddings are used to denote different types of input sentences. Recent works proposed variations of positional encodings with relative position encodings achieving better performance. In this work, we do a systematic study comparing different position encodings and understanding the reasons for differences in their performance. We demonstrate a simple yet effective way to encode position and segment into the Transformer models. The proposed method performs on par with SOTA on GLUE, XTREME and WMT benchmarks while saving computation costs.

연구 동기 및 목표

• 상대적 위치 인코딩 변형이 트랜스포머에서 표준 절대적 위치 인코딩보다 성능이 뛰어나는 이유를 이해하는 것.
• 모델 성능 향상을 위해 위치 및 세그먼트 인코딩을 체계적으로 개선하는 방법을 규명하는 것.
• 계산 오버헤드를 줄이면서도 SOTA 성능을 유지하거나 초월하는 방법을 개발하는 것.
• 시퀀스 모델링에서 위치 및 세그먼트 정보를 위한 통합적이고 효율적인 인코딩 체계를 제공하는 것.

제안 방법

• 표준 절대적 위치 인코딩을 대체하여 토큰 간 관계를 더 효과적으로 포착하는 학습된 상대적 위치 임베딩을 사용한다.
• 세그먼트 임베딩을 어텐션 메커니즘에 직접 통합하여 별도의 덧셈 임베딩을 피한다.
• 스케일드 도트프로덕트 어텐션 메커니즘에 상대적 위치 바이어스를 사용하여 토큰 순서와 세그먼트 차이를 더 잘 모델링한다.
• 아키텍처 변경 없이 어텐션 계산 외에 표준 최적화 방법을 사용해 엔드 투 엔드로 훈련한다.
• GLUE, XTREME, WMT 등 다양한 벤치마크에서 표준 훈련 제도를 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 실제로 상대적 위치 인코딩 변형이 왜 절대적 위치 인코딩보다 일관되게 성능이 뛰어나게 되는가?
• RQ2 어떻게 위치 및 세그먼트 정보를 더 효과적으로 인코딩할 수 있는가?
• RQ3 성능 손실 없이 복수의 덧셈 임베딩을 대체할 수 있는 통합적이고 효율적인 인코딩 체계를 만들 수 있는가?
• RQ4 상대적 위치 인코딩이 모델 일반화 능력과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 추론 비용을 증가시키지 않으면서도 GLUE 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.
• XTREME 벤치마크에서 SOTA 결과를 맞추거나 초월하면서도 계산 요구량을 줄인다.
• 상대적 토큰 관계를 더 잘 모델링함으로써 다양한 NLP 작업에서 개선된 일반화 능력을 보여준다.
• 별도의 덧셈 위치 및 세그먼트 임베딩이 필요 없어져 아키텍처가 단순화된다.