[논문 리뷰] Luna: Linear Unified Nested Attention

Xuezhe Ma, Xiang Kong외 5명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 48인용 수 49

한 줄 요약

Luna는 두 개의 중첩 선형 어텐션 함수와 추가 고정 길이 입력 시퀀스 P를 사용하여 선형 시간 어텐션 메커니즘을 도입하고, 긴 시퀀스 모델링을 효율적으로 수행하며 벤치마크 전반에서 경쟁력 있는 성능을 유지합니다.

ABSTRACT

The quadratic computational and memory complexities of the Transformer's attention mechanism have limited its scalability for modeling long sequences. In this paper, we propose Luna, a linear unified nested attention mechanism that approximates softmax attention with two nested linear attention functions, yielding only linear (as opposed to quadratic) time and space complexity. Specifically, with the first attention function, Luna packs the input sequence into a sequence of fixed length. Then, the packed sequence is unpacked using the second attention function. As compared to a more traditional attention mechanism, Luna introduces an additional sequence with a fixed length as input and an additional corresponding output, which allows Luna to perform attention operation linearly, while also storing adequate contextual information. We perform extensive evaluations on three benchmarks of sequence modeling tasks: long-context sequence modeling, neural machine translation and masked language modeling for large-scale pretraining. Competitive or even better experimental results demonstrate both the effectiveness and efficiency of Luna compared to a variety

연구 동기 및 목표

• 쿼드라틱 어텐션 복잡도 때문에 트랜스포머를 긴 시퀀스로 확장해야 할 필요성을 제기한다.
• 고정 길이 입력 P를 사용한 패킹(pack)과 언패킹(unpack) 어텐션으로 선형 시간/공간을 달성하기 위해 Luna를 제안한다.
• 효율성과 맥락 용량을 유지하면서 가변 길이 및 자기회귀(attention)를 가능하게 한다.
• 긴 컨텍스트 모델링, 기계번역, 대규모 사전 학습/미세 조정에서 Luna의 효과를 입증한다.

제안 방법

• 질의 P를 사용하여 컨텍스트 C를 고정 길이 시퀀스 P로 압축하는 패킹 어텐션을 도입한다.
• Attn(X, Y_P)에서 질의로 X를 사용하여 패킹된 표현을 원래의 질의 길이로 확장하는 언패킹 어텐션을 도입한다.
• LunaAttn(X, P, C)를 정의하여 Y_X와 Y_P를 모두 출력하고 계층 간에 맥락 정보를 전달한다.
• LayerNorm과 FFN으로 Luna 계층을 쌓고, Y_X와 Y_P에 대해 정규화하고 Y_X에만 FFN을 적용한다.
• 매개변수 수를 줄이기 위해 계층 내에서 W_Q, W_K, W_V를 선택적으로 공유한다( W_K를 W_V와 연결).
• 포장을 위한 맞춤 활성화 함수(elu+1 또는 softplus)로 선형 복잡도를 유지하고, 언패킹에는 softmax를 사용하는 Luna 인과 어텐션 변형을 제시한다.

실험 결과

연구 질문

• RQ1 긴 범위 맥락 모델링을 희생하지 않으면서 어텐션을 선형 시간/공간으로 재정의할 수 있는가?
• RQ2 가변 길이 입력에 대해 추가적인 고정 길이 입력 시퀀스 P가 충분한 맥락 정보를 포착할 수 있는가?
• RQ3 Luna가 효율성을 유지하면서 인과 어텐션과 자기회귀 디코딩을 지원하는가?
• RQ4 강력한 베이스라인에 비해 긴 컨텍스트 벤치마크, MT, 대규모 사전학습에서 Luna의 성능은 어떤가?

주요 결과

• Luna는 긴 컨텍스트 시퀀스 모델링, MT, 사전학습 작업에서 전체 어텐션 베이스라인 및 다른 효율적인 어텐션 방법과 비교해 경쟁력 있거나 더 좋은 성능을 달성한다.
• 패킹/언패킹 어텐션으로 인해 선형 시간과 메모리 복잡도를 보여주며, 여러 베이스라인에 비해 효율성이 향상된다.
• 작은 프로젝션 길이(예: l = 16)가 LRA 벤치마킹 및 MT 번역 작업에서 강력한 성능을 제공한다.
• MT 실험에서 P에 인코딩된 맥락 정보가 비맥락적 P에 비해 성능을 향상시킨다.
• WMT’14 EN→DE의 MT 번역에서 softplus 활성화 및 공유된 키/값을 갖는 Luna는 경쟁력 있는 BLEU 점수를 보이며, 맥락적 P가 비맥락적 P에 비해 눈에 띄는 향상을 제공한다.
• 사전학습 실험은 Luna가 일부 QA 및 분류 과제에서 기준 모델에 필적하거나 이를 상회할 수 있음을 시사하며, 특히 작은 데이터 환경에서 그렇다; 전체 모델 용량은 대규모 데이터에서 결과에 영향을 준다.