[論文レビュー] N-Grammer: Augmenting Transformers with latent n-grams

Aurko Roy, Rohan Anil+14 more|arXiv (Cornell University)|Jul 13, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

N-Grammer は、注意ヘッド出力の積集合量子化を介して学習可能で離散的な潜在的 n-gram を導入することで、性能を損なわず高速な推論を実現する Transformers の拡張である。C4 および SuperGLUE においてより大きな Transformers や Primer と同等の性能を達成するとともに、高価な密行列演算への依存度を低減する。

ABSTRACT

Transformer models have recently emerged as one of the foundational models in natural language processing, and as a byproduct, there is significant recent interest and investment in scaling these models. However, the training and inference costs of these large Transformer language models are prohibitive, thus necessitating more research in identifying more efficient variants. In this work, we propose a simple yet effective modification to the Transformer architecture inspired by the literature in statistical language modeling, by augmenting the model with n-grams that are constructed from a discrete latent representation of the text sequence. We evaluate our model, the N-Grammer on language modeling on the C4 data-set as well as text classification on the SuperGLUE data-set, and find that it outperforms several strong baselines such as the Transformer and the Primer. We open-source our model for reproducibility purposes in Jax.

研究の動機と目的

• 大規模な Transformer モデルの推論コストを性能を損なわず低減すること。
• 統計的言語モデルと離散的潜在表現にインspiredされた効率的なアーキテクチャ変更を検討すること。
• 学習された n-gram 構造を介して密行列演算をスパースな埋め込み照合に置き換えることで、より高速な推論を可能にすること。
• C4 や SuperGLUE などの標準的 NLP ベンチマークにおける潜在的 n-gram の有効性を評価すること。

提案手法

• N-Grammer レイヤーは、各注意ヘッドの出力に積集合量子化（PQ）を適用して離散的潜在コードを生成する。
• 連続する潜在コードからバイグラムが形成され、照合テーブルを介して学習可能な n-gram 埋め込みにマッピングされる。
• 最終的な表現は、元の入力埋め込みと n-gram 埋め込みの残差接続である。
• モデルは標準的な目的関数を用いてエンドツーエンドで訓練され、n-gram テーブルは推論時にキャッシュされる。
• アーキテクチャは、計算コストを低減するため、密行列乗算の代わりにスパースな埋め込み照合を使用する。
• トークンからクラスタへのマッピングをキャッシュすることで、効率的なデプロイが可能になり、推論時のオーバーヘッドが定数となる。

実験結果

リサーチクエスチョン

• RQ1 離散的表現から学習された潜在的 n-gram は、性能の低下を伴わずに Transformer の効率性を向上させることができるか？
• RQ2 N-Grammer レイヤーは、より大きな Transformers や Primer モデルと比較して、精度と推論速度の両面でどのように差をつけるか？
• RQ3 学習された潜在クラスタが意味的に関連するグループ（例：スポーツ、芸術、場所）をどの程度正しく捉えているか？
• RQ4 スパースな埋め込み照合が、推論遅延を低減するために注意機構における密行列演算を置き換えることができるか？
• RQ5 注意ヘッドへの積集合量子化の適用が、意味的に整合性のある n-gram 表現を生み出すのか？

主な発見

• N-Grammer モデルは C4 の perplexity を 64.98 に達成し、標準的な Transformer（66.74）と Primer（62.20）を上回った。
• SuperGLUE では、N-Grammer モデルが平均スコア 68.27 を達成し、Transformer（65.38）と Primer（63.46）を上回った。
• 8K 個の潜在クラスタと 196K 個の n-gram 埋め込みを備えたモデルは、より大きなモデルと同等の性能を発揮しながら、推論が著しく高速であった。
• クラスタ解析の結果、潜在コードが意味的に関連するトークン（例：スポーツ、芸術、場所）をグループ化していることが示され、意味的表現学習が成功していることが裏付けられた。
• N-Grammer レイヤーは、高価な密行列乗算への依存度を低下させ、高速なスパースな埋め込み照合に置き換えることで、計算コストを削減した。
• トークンからクラスタへのマッピングをキャッシュすることで、推論時のオーバーヘッドが一定となり、スパース演算を好むハードウェア上での展開が非常に容易になった。