[논문 리뷰] Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems

Subhabrata Dutta, Tanya Gautam외 2명|arXiv (Cornell University)|2021. 09. 30.

Model Reduction and Neural Networks참고 문헌 37인용 수 4

한 줄 요약

이 논문은 일반적인 트랜스포머의 자기주의 및 피드포워드 레이어를 일반 미분방정식(OED) 해법기를 사용해 상호작용하는 입자의 시간에 따른 진화로 모델링하는 새로운 트랜스포머 재설계인 TransEvolve를 제안한다. 초기 조건에서 동역학 시스템의 시간 진화를 매개변수화함으로써 TransEvolve는 학습 가능한 파라미터를 50% 감소시키고, 학습 속도를 3배 이상 높이며, 인코더 전용 작업에서는 원본 트랜스포머를 능가하고, 인코더-디코더 작업에서는 파라미터 수를 10% 줄여도 동일한 성능을 달성한다.

ABSTRACT

The Transformer and its variants have been proven to be efficient sequence learners in many different domains. Despite their staggering success, a critical issue has been the enormous number of parameters that must be trained (ranging from $10^7$ to $10^{11}$) along with the quadratic complexity of dot-product attention. In this work, we investigate the problem of approximating the two central components of the Transformer -- multi-head self-attention and point-wise feed-forward transformation, with reduced parameter space and computational complexity. We build upon recent developments in analyzing deep neural networks as numerical solvers of ordinary differential equations. Taking advantage of an analogy between Transformer stages and the evolution of a dynamical system of multiple interacting particles, we formulate a temporal evolution scheme, TransEvolve, to bypass costly dot-product attention over multiple stacked layers. We perform exhaustive experiments with TransEvolve on well-known encoder-decoder as well as encoder-only tasks. We observe that the degree of approximation (or inversely, the degree of parameter reduction) has different effects on the performance, depending on the task. While in the encoder-decoder regime, TransEvolve delivers performances comparable to the original Transformer, in encoder-only tasks it consistently outperforms Transformer along with several subsequent variants.

연구 동기 및 목표

• 표준 트랜스포머의 높은 파라미터 수와 2차 복잡도로 인해 학습 및 구현이 어려운 문제를 해결하기 위해.
• 독립적인 어텐션 레이어의 비효율성을 해결하기 위해, 그 순차적 진화를 연속적인 동역학 시스템으로 모델링하기 위해.
• 반복적인 내적 곱 어텐션 계산을 피하는 파라미터 효율적인 학습 가능한 시간 진화 기능을 개발하기 위해.
• 동역학 시스템 관점이 시퀀스 모델링에서 더 나은 일반화와 효율성을 가능하게 하는지 평가하기 위해.
• ODE 기반 시간 진화가 인코더 전용 및 인코더-디코더 설정 모두에서 표준 어텐션 메커니즘을 능가할 수 있는지 탐색하기 위해.

제안 방법

• 은닉 상태가 시간에 따라 ODE를 통해 진화하는 다입자 동역학 시스템으로 트랜스포머 레이어를 설정하기.
• 각 토큰의 표현 진화를 초기 조건에서 유도된 시간에 의존하는 벡터장으로 모델링하여, 레이어별 어텐션 계산을 피하기.
• 수치적 ODE 해법기(예: 룬게-쿠타)를 사용해 깊이에 걸쳐 표현의 시간 진화를 시뮬레이션하고, ODE 벡터장을 학습 가능한 함수로 매개변수화하기.
• 깊이 정보를 진화 과정을 통해 인코딩하면서도 레이어 간에 파라미터를 공유하는 깊이 인식 랜덤 행렬 피드포워드 메커니즘 도입하기.
• 표준 멀티헤드 어텐션과 피드포워드 네트워크를 대체하는 단일, 매개변수화된 ODE 기반 진화 방식을 통합한 프레임워크인 TransEvolve를 구축하기.
• ODE 해법기를 미분 가능한 레이어로 통합하여 표준 backpropagation을 사용해 모델을 종합적으로 학습하기.

실험 결과

연구 질문

• RQ1 트랜스포머 레이어의 순차적 처리가 상호작용하는 입자의 연속적인 동역학 시스템으로 모델링될 수 있는가?
• RQ2 초기 조건에서 표현의 시간 진화를 매개변수화함으로써 모델 파라미터와 학습 시간을 줄일 수 있는가, 성능 저하 없이?
• RQ3 ODE 기반 진화 방식이 인코더 전용 및 인코더-디코더 작업 모두에서 표준 멀티헤드 어텐션을 능가할 수 있는가?
• RQ4 표현의 깊이 인식 진화가 시퀀스 모델링에서 장거리 의존성 학습에 어떤 영향을 미치는가?
• RQ5 다양한 ODE 근사 방법과 랜덤 행렬 투영이 모델 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• TransEvolve는 ListOps 및 문자 수준 감성 분류와 같은 모든 인코더 전용 작업에서 원본 트랜스포머를 능가하며, 학습 가능한 파라미터 수가 50% 감소했다.
• WMT 2014 영어-프랑스어 번역 작업에서 TransEvolve는 기본 트랜스포머보다 1.4 BLEU 점수 향상을 달성했고, 파라미터 수는 10% 줄였다.
• 표준 트랜스포머 대비 TransEvolve는 학습 속도가 3배 이상 빨라서, 특히 학습 중 다대일 매핑에 유리하다.
• 랜덤 행렬 피드포워드 변형(TransEvolve-randomFF-1)은 ListOps와 같은 장거리 작업에서 전체 FF 버전보다 뛰어난 성능을 보였으며, 깊이 인식 진화가 장거리 의존성 모델링을 향상시킨다는 것을 시사한다.
• 인코더-디코더 작업에서는 TransEvolve가 En-De 2013 및 En-Fr 2014에서 트랜스포머 성능을 따라하거나 略로 초월했지만, 데이터셋에 따라 성능이 다소 변동했다.
• 모델의 성공은 복잡한 작업에서 ODE의 확산 성분이 지배적임을 시사하며, 다양한 시퀀스 학습 문제에서 동역학 시스템의 구조가 크게 달라진다는 것을 보여준다.