[논문 리뷰] ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation

Bei Li, Quan Du외 5명|arXiv (Cornell University)|2021. 04. 06.

Natural Language Processing Techniques참고 문헌 43인용 수 11

한 줄 요약

이 논문은 미분방정식의 고차수 수치적 해법에 영감을 얻어 개발된 새로운 신경 기계 번역 모델인 ODE Transformer를 제안한다. 표준 잔차 블록 대신 다중 중간 근사치를 사용하는 룬게쿠타 스타일의 ODE 블록을 도입함으로써 절단 오차를 감소시키고 성능을 향상시켰으며, 파rameter 수 증가 없이 WMT'14 En-Fr에서 44.11 BLEU, En-De에서 30.76 BLEU의 최신 기준 성능을 달성하였다.

ABSTRACT

It has been found that residual networks are an Euler discretization of solutions to Ordinary Differential Equations (ODEs). In this paper, we explore a deeper relationship between Transformer and numerical methods of ODEs. We show that a residual block of layers in Transformer can be described as a higher-order solution to ODEs. This leads us to design a new architecture (call it ODE Transformer) analogous to the Runge-Kutta method that is well motivated in ODEs. As a natural extension to Transformer, ODE Transformer is easy to implement and parameter efficient. Our experiments on three WMT tasks demonstrate the genericity of this model, and large improvements in performance over several strong baselines. It achieves 30.76 and 44.11 BLEU scores on the WMT'14 En-De and En-Fr test data. This sets a new state-of-the-art on the WMT'14 En-Fr task.

연구 동기 및 목표

• 잔차 블록의 일阶 오일러 이산화에 기인한 오차 누적 문제를 해결하기 위해.
• Transformer 아키텍처와 수치적 ODE 해법 간의 더 깊은 수학적 관계를 탐색하기 위해.
• 룬게쿠타와 같은 고차수 방법으로 일阶 ODE 블록을 대체함으로써 모델 성능 향상과 파rameter 효율성 향상을 도모하기 위해.
• 동일한 파rameter 수를 가진 일阶 블록의 더 깊은 스택보다 고차수 ODE 블록이 더 높은 성능을 낼 수 있는지 입증하기 위해.
• 최소한의 아키텍처 수정으로 WMT'14 En-Fr 번역 작업에서 새로운 최고 기록을 수립하기 위해.

제안 방법

• 각 Transformer 잔차 블록을 연속적인 ODE 시스템으로 재구성하여, 잔차 함수가 은닉 상태의 도함수를 나타내도록 한다.
• 일계 오일러 이산화를 고차수 룬게쿠타(RK4) 방법으로 대체하여, 단일 블록 내에서 더 정확한 중간 상태를 계산한다.
• 블록 내 다중 중간 단계(F₁부터 F₄까지)에서 동일한 파rameter θ(t)를 사용함으로써 파rameter 효율성을 확보한다.
• 중간 근사치에 대해 학습 가능한 계수(예: γᵢ)를 도입하여 최적화 및 성능 향상에 기여한다.
• 기존 Transformer 인코더 및 디코더에 아키텍처 수정 없이 플러그인 방식으로 ODE Transformer 블록을 통합한다.
• 블록 출력을 yₜ₊₁ = yₜ + (1/6)F₁ + (2/6)F₂ + (2/6)F₃ + (1/6)F₄로 계산하는 연속 시간 공식을 적용하여, RK4 적분을 모방한다.

실험 결과

연구 질문

• RQ1 룬게쿠타와 같은 고차수 ODE 해법이 Transformer 기반 신경 기계 번역 모델의 성능 향상에 기여할 수 있는가?
• RQ2 일계 오일러 기반 잔차 블록을 고차수 ODE 블록으로 대체함으로써 절단 오차가 감소하고 일반화 성능이 향상되는가?
• RQ3 동일한 파rameter 수를 가진 일계 블록의 더 깊은 스택보다 고차수 ODE 블록이 더 높은 성능을 낼 수 있는가?
• RQ4 ODE Transformer 아키텍처는 파rameter 효율적이며 기존 Transformer 프레임워크에 쉽게 통합 가능한가?
• RQ5 ODE 블록 내 중간 근사치 사용이 최적화를 향상시키고 언어 모델링 손실을 낮추는가?

주요 결과

• ODE Transformer는 WMT'14 En-Fr 번역 작업에서 기존 모든 기준보다 높은 44.11 BLEU 점수를 기록하며 새로운 최고 기록을 수립하였다.
• WMT'14 En-De 작업에서는 30.76 BLEU를 기록하여 다양한 언어 조합 간의 강력한 일반화 능력을 입증하였다.
• RK4 블록 변형은 PTB 데이터셋에서 두 층일 때 언어 모델링 퍼플렉서티(PPL)를 119.46으로 낮춰 표준 두 층 잔차 블록(136.07 PPL)을 능가하였다.
• 두 번째 차수 룬게쿠타(RK2) 블록조차도 두 층 잔차 블록보다 낮은 PPL(121.02)을 기록하여 근사 오차 감소를 확인하였다.
• ODE Transformer는 다양한 WMT 작업에서 넓은 및 깊은 Transformer 설정을 포함해 일관되게 성능 향상을 보였다.
• 블록 내 다중 중간 단계에서 파rameter를 재사용함으로써 파rameter 효율성이 확보되었으며, 추가 파rameter가 필요로 하지 않았다.