[論文レビュー] ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation

Bei Li, Quan Du+5 more|arXiv (Cornell University)|Apr 6, 2021

Natural Language Processing Techniques参考文献 43被引用数 11

ひとこと要約

本論文では、常微分方程式（ODE）を解くための高次数数値解法にインspiredされた、新しいニューラルマシン翻訳モデル、ODE Transformerを提案する。標準の残差ブロックを複数の中間近似を用いるルンゲ=クッタ形式のODEブロックに置き換えることで、切り捨て誤差を低減し、パラメータ数に変化がなくとも、WMT'14 En-Frで44.11 BLEU、En-Deで30.76 BLEUのSOTAスコアを達成する。

ABSTRACT

It has been found that residual networks are an Euler discretization of solutions to Ordinary Differential Equations (ODEs). In this paper, we explore a deeper relationship between Transformer and numerical methods of ODEs. We show that a residual block of layers in Transformer can be described as a higher-order solution to ODEs. This leads us to design a new architecture (call it ODE Transformer) analogous to the Runge-Kutta method that is well motivated in ODEs. As a natural extension to Transformer, ODE Transformer is easy to implement and parameter efficient. Our experiments on three WMT tasks demonstrate the genericity of this model, and large improvements in performance over several strong baselines. It achieves 30.76 and 44.11 BLEU scores on the WMT'14 En-De and En-Fr test data. This sets a new state-of-the-art on the WMT'14 En-Fr task.

研究の動機と目的

• 残差ブロックの1次数値解法（オイラー法）による離散化に起因する誤差蓄積を是正すること。
• Transformerアーキテクチャと数値ODEソルバーとの間のより深い数学的関係を解明すること。
• ルンゲ=クッタなどの高次数法に置き換えることで、1次ODEブロックを高次数にすることで、モデル性能とパラメータ効率を向上させること。
• 同じパラメータ数で、高次数ODEブロックが1次ブロックの深層スタックを上回ることを実証すること。
• 最小限のアーキテクチャ的変更で、WMT'14 En-Fr翻訳タスクに新たなSOTAを確立すること。

提案手法

• 各Transformer残差ブロックを、隠れ状態の微分を表す残差関数を有する連続的ODE系に再定式化する。
• 1次数値解法（オイラー法）の代わりに、1ブロック内での中間状態を高精度に計算する4次ルンゲ=クッタ（RK4）法を採用する。
• ブロック内での複数の中間段階（F₁ から F₄）にわたり、一様なパラメータθ(t)を再利用することで、パラメータ効率を確保する。
• 中間近似のための学習可能な係数（例：γᵢ）を導入し、最適化と性能のさらなる向上を図る。
• アーキテクチャの大規模な見直しを伴わず、標準Transformerエンコーダーおよびデコーダーにそのままプラグイン可能な形でODE Transformerブロックを適用する。
• 連続時間形式を採用し、ブロック出力を yₜ₊₁ = yₜ + (1/6)F₁ + (2/6)F₂ + (2/6)F₃ + (1/6)F₄ として計算することで、RK4統合を模倣する。

実験結果

リサーチクエスチョン

• RQ1 ルンゲ=クッタのような高次ODEソルバーは、Transformerベースのニューラルマシン翻訳モデルの性能を向上させることができるか？
• RQ2 1次オイラー法に基づく残差ブロックを高次ODEブロックに置き換えることで、切り捨て誤差が低減され、一般化性能が向上するか？
• RQ3 同じパラメータ数で、高次ODEブロックは1次ブロックの深層スタックを上回る性能を達成できるか？
• RQ4 ODE Transformerアーキテクチャはパラメータ効率的であり、既存のTransformerフレームワークに容易に統合可能か？
• RQ5 ODEブロック内の途中近似を用いることで、最適化が改善され、言語モデルの損失が低下するか？

主な発見

• ODE Transformerは、WMT'14 En-Fr翻訳タスクで44.11 BLEUという新たなSOTAスコアを達成し、すべての先行ベースラインを上回った。
• WMT'14 En-Deタスクでは30.76 BLEUを達成し、異なる言語ペアにおいても優れた一般化性能を示した。
• RK4ブロックバージョンは、PTBデータセットで2層の場合に言語モデルのパープレキシティ（PPL）を119.46まで低下させ、標準の2層残差ブロック（136.07 PPL）を上回った。
• 2次ルンゲ=クッタ（RK2）ブロックですら、2層残差ブロックよりも低いPPL（121.02）を達成しており、近似誤差の低減が確認された。
• ODE Transformerは、WMTタスクの複数の設定（広い構成および深い構成を含む）において一貫して性能を向上させた。
• ブロック内の中間段階でパラメータを再利用するため、パラメータ効率的であり、追加のパラメータを追加する必要がなかった。