[논문 리뷰] Relative Positional Encoding for Transformers with Linear Complexity

Antoine Liutkus, Ondřej Cífka외 4명|arXiv (Cornell University)|2021. 05. 18.

Music and Audio Processing참고 문헌 67인용 수 14

한 줄 요약

이 논문은 랜덤 노이즈를 학습 가능한 필터를 통해 필터링하여 선형 복잡도 트랜스포머에서 상대적 위치 인코딩(RPE)을 구현하는 새로운 방법인 스토하스틱 포지셔널 인코딩(SPE)을 제안한다. 이는 명시적인 어텐션 매트릭스 계산 없이도 RPE와 유사한 인덕티브 바이어스를 달성한다. SPE는 상관된 가우시안 프로세스의 교차공분산 구조를 정확히 모방하며, Long-Range Arena 및 음악 생성 작업에서 사인 함수 기반 PE보다 성능 향상을 보였다.

ABSTRACT

Recent advances in Transformer models allow for unprecedented sequence lengths, due to linear space and time complexity. In the meantime, relative positional encoding (RPE) was proposed as beneficial for classical Transformers and consists in exploiting lags instead of absolute positions for inference. Still, RPE is not available for the recent linear-variants of the Transformer, because it requires the explicit computation of the attention matrix, which is precisely what is avoided by such methods. In this paper, we bridge this gap and present Stochastic Positional Encoding as a way to generate PE that can be used as a replacement to the classical additive (sinusoidal) PE and provably behaves like RPE. The main theoretical contribution is to make a connection between positional encoding and cross-covariance structures of correlated Gaussian processes. We illustrate the performance of our approach on the Long-Range Arena benchmark and on music generation.

연구 동기 및 목표

• 전체 어텐션 매트릭스 계산을 피하는 선형 복잡도 트랜스포머 변종에서 상대적 위치 인코딩(RPE)의 부재 문제를 해결한다.
• RPE의 알려진 이점과 선형 어텐션 기반 메커니즘의 확장성 간 격차를 메운다.
• 명시적인 어텐션 계산 없이도 RPE 행동을 모방할 수 있는 미분 가능하고 파rameter 효율적인 위치 인코딩 방법을 개발한다.
• 위치 인코딩과 가우시안 프로세스의 교차공분산 구조 간 이론적 연결 고리를 확립한다.
• SPE가 RPE를 일반화하고 장거리 시퀀스 모델링 과제에서 성능 향상에 기여함을 입증한다.

제안 방법

• 사인 함수 기반 위치 인코딩의 대체로, 필터링된 랜덤 노이즈를 사용해 위치 인식 쿼리 및 키를 생성하는 스토하스틱 포지셔널 인코딩(SPE)을 제안한다.
• 학습 가능한 필터를 사용해 화이트 노이즈에 필터링 과정을 적용하며, 필터링된 노이즈의 교차공분산이 원하는 RPE 구조를 근사하도록 모델링한다.
• 이론적 기반: SPE를 상관된 가우시안 프로세스의 교차공분산과 연결하여, SPE가 임의의 지정된 교차공분산 구조를 모방할 수 있음을 보여준다.
• 두 가지 변형을 구현: 사인 함수 기반 SPE(SPE-S)와 컨volutional SPE(SPE-C), 후자는 랜덤 노이즈를 학습 가능한 필터와 컨볼루션한다.
• SPE를 쿼리와 키에 직접 통합하여 값의 위치-콘텐츠 상호작용을 피하며, 분리된 어텐션 파라다임을 따르는 방식으로 구현한다.
• 백프로파게이션을 통해 필터를 엔드 투 엔드로 학습하여, 전체 어텐션 매트릭스 계산 없이도 위치에 따라 달라지는 어텐션 패턴을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 전체 어텐션 매트릭스 계산을 피하는 선형 복잡도 트랜스포머에 상대적 위치 인코딩(RPE)을 효과적으로 통합할 수 있는가?
• RQ2 명시적인 어텐션 계산 없이도 RPE의 인덕티브 바이어스를 모방할 수 있는, 미분 가능하고 파rameter 효율적인 방법으로서의 위치 인코딩 생성이 가능한가?
• RQ3 필터링된 랜덤 노이즈의 교차공분산 구조를 사용해 어텐션 메커니즘에서 RPE의 원하는 인덕티브 바이어스를 모델링할 수 있는가?
• RQ4 SPE가 장거리 시퀀스 모델링 과제에서 RPE의 이점을 일반화하는가?
• RQ5 SPE는 도트-프로덕트 어텐션을 초월해, 특히 Performer와 같은 암시적 커널 방법에서의 다른 어텐션 커널로도 확장 가능한가?

주요 결과

• SPE는 명시적인 어텐션 매트릭스 계산 없이도 선형 복잡도 트랜스포머에서 상대적 위치 인코딩을 성공적으로 구현한다.
• SPE의 컨볼루션 변형(SPE-C)은 Long-Range Arena 벤치마크에서 사인 함수 PE 및 기준 모델을 모두 압도하는 최고 성능을 기록한다.
• 장거리 시퀀스(예: 3,072 토큰)를 갖는 음악 생성 과제에서, SPE는 사인 함수 기반 PE보다 생성 품질과 일관성을 향상시킨다.
• 이론적 분석을 통해 SPE의 교차공분산 구조가 RPE의 것과 일치시킬 수 있음을 입증하여, 설계의 체계적인 기반을 확보한다.
• 경험적 결과는 SPE가 도트-프로덕트 어텐션을 초월해 일반화됨을 시사하며, Performer와 같은 다른 암시적 커널 방법으로의 확장 가능성까지 보여준다.
• 절대 위치 인코딩을 SPE로 대체하면 일부 설정에서 성능 향상이 이루어지며, 이는 RPE 유사 인덕티브 바이어스가 장거리 모델링에서 APE보다 더 효과적일 수 있음을 뒷받침한다.