[論文レビュー] Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems

Subhabrata Dutta, Tanya Gautam+2 more|arXiv (Cornell University)|Sep 30, 2021

Model Reduction and Neural Networks参考文献 37被引用数 4

ひとこと要約

本稿では、常微分方程式（ODE）ソルバを用いて、相互作用する粒子の時間的発展として自己注意およびフィードフォワード層をモデル化する、新しい変種Transformer「TransEvolve」を提案する。初期状態からの力学系の時間発展をパラメータ化することにより、学習可能なパラメータを50%削減し、3倍以上高速な学習を達成。エンコーダー専用のタスクでは元のTransformerを上回り、エンコーダー・デコーダーのタスクではパラメータを10%減らしながら同等の性能を達成する。

ABSTRACT

The Transformer and its variants have been proven to be efficient sequence learners in many different domains. Despite their staggering success, a critical issue has been the enormous number of parameters that must be trained (ranging from $10^7$ to $10^{11}$) along with the quadratic complexity of dot-product attention. In this work, we investigate the problem of approximating the two central components of the Transformer -- multi-head self-attention and point-wise feed-forward transformation, with reduced parameter space and computational complexity. We build upon recent developments in analyzing deep neural networks as numerical solvers of ordinary differential equations. Taking advantage of an analogy between Transformer stages and the evolution of a dynamical system of multiple interacting particles, we formulate a temporal evolution scheme, TransEvolve, to bypass costly dot-product attention over multiple stacked layers. We perform exhaustive experiments with TransEvolve on well-known encoder-decoder as well as encoder-only tasks. We observe that the degree of approximation (or inversely, the degree of parameter reduction) has different effects on the performance, depending on the task. While in the encoder-decoder regime, TransEvolve delivers performances comparable to the original Transformer, in encoder-only tasks it consistently outperforms Transformer along with several subsequent variants.

研究の動機と目的

• 標準Transformerの高いパラメータ数と2次関数的計算複雑性を低減し、学習およびデプロイの障壁を解消すること。
• 独立した注意層の非効率性を解消するため、その順次的発展を連続的力学系としてモデル化すること。
• 繰り返しドット積注意計算を回避する、パラメータ効率的で学習可能な時間発展関数を構築すること。
• 力学系の視点が、系列モデリングにおける一般化性能と効率性を向上させることを評価すること。
• ODEベースの時間的発展が、エンコーダー専用およびエンコーダー・デコーダー設定の両方で、標準的な注意機構を上回ることを検証すること。

提案手法

• 隠れ状態がODEを介して時間的に発展する多粒子力学系としてTransformer層を定式化する。
• 初期状態からの時間依存ベクトル場を用いて、各トークン表現の発展をモデル化し、各層での注意計算を回避する。
• 数値的ODEソルバ（例：ルンゲ・クッタ法）を用いて、深さにわたる表現の時間的発展をシミュレートし、ODEベクトル場を学習可能な関数でパラメータ化する。
• 深さに応じたランダム行列フィードフォワード機構を導入し、層間でパラメータを共有するとともに、発展経路を通じて深さ情報を符号化する。
• 標準的なマルチヘッド注意とフィードフォワードネットワークを、1つのパラメータ化されたODEベース発展スキームに置き換える統合フレームワーク「TransEvolve」を構築する。
• ODEソルバを微分可能レイヤーとして統合し、標準的なバックプロパゲーションを用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 Transformer層の順次的処理を、相互作用する粒子の連続的力学系としてモデル化できるか？
• RQ2 初期状態からの表現の時間発展をパラメータ化することで、パラメータ数と学習時間を削減しつつ性能を損なわないか？
• RQ3 ODEベースの発展スキームは、エンコーダー専用およびエンコーダー・デコーダーの両タスクで、標準的なマルチヘッド注意を上回るか？
• RQ4 表現の深さに応じた発展が、系列モデリングにおける長距離依存性学習に与える影響は何か？
• RQ5 異なるODE近似スキームおよびランダム行列射影が、モデルの効率性と精度に与える影響は何か？

主な発見

• TransEvolveは、ListOpsや文字レベルのセンチメント分類を含むすべてのエンコーダー専用タスクで、学習可能なパラメータを50%削減しながら元のTransformerを上回る性能を達成した。
• WMT 2014 英語→フランス語翻訳タスクでは、ベース版Transformerより1.4 BLEUスコア向上を達成し、パラメータ数を10%削減した。
• 標準Transformerに比べ、学習速度が3倍以上に向上した。特に、多くの入力から1つの出力へのマッピングが可能な学習プロセスで顕著な恩恵を受けていた。
• ランダム行列フィードフォワード変種（TransEvolve-randomFF-1）は、ListOpsのような長距離タスクでフル-FFバージョンを上回った。これは、深さに応じた発展が長距離依存性モデリングを強化していることを示唆している。
• エンコーダー・デコーダーのタスクでは、En-De 2013およびEn-Fr 2014でTransformerと同等またはわずかに優れた性能を示したが、データセットによって性能の差が見られた。
• モデルの成功は、複雑なタスクにおいてODEの拡散成分が支配的であることを示しており、異なる系列学習問題において力学系の構造が顕著に異なることが示唆された。