[論文レビュー] Transformer on a Diet

Chenguang Wang, Zihao Ye+3 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 25被引用数 4

ひとこと要約

本稿では、長距離および短距離依存関係を効果的に保持することで計算複雑性を低減する3つの軽量Transformerアーキテクチャ—拡張Transformer、メモリ付き拡張Transformer、およびカスケードTransformer—を提案する。最も軽量なバリアントはパラメータを70%削減しながら言語モデリングベンチマークで競争力のあるパープレクサリティを達成しており、性能を犠牲にすることなく効率的な推論が可能であることを示している。

ABSTRACT

Transformer has been widely used thanks to its ability to capture sequence information in an efficient way. However, recent developments, such as BERT and GPT-2, deliver only heavy architectures with a focus on effectiveness. In this paper, we explore three carefully-designed light Transformer architectures to figure out whether the Transformer with less computations could produce competitive results. Experimental results on language model benchmark datasets hint that such trade-off is promising, and the light Transformer reduces 70% parameters at best, while obtains competitive perplexity compared to standard Transformer. The source code is publicly available.

研究の動機と目的

• 系列モデリングタスクにおける競争力ある性能を維持しつつ、計算コストを低減する効率的なTransformerアーキテクチャの設計。
• 標準Transformerにおける不要な接続をプルーニングすることで、長距離および局所的依存関係を効果的に保持できるかの調査。
• モデルサイズと推論コストの最小化により、リソース制約のある環境におけるTransformerの実用的導入を可能にすること。
• 標準的な言語モデリングベンチマークにおいて、モデル効率性、パラメータ数、性能のトレードオフを評価すること。

提案手法

• 自己注意層に指数的拡張係数を用いた拡張接続を導入し、有効受容 field を拡大するとともに、計算量をO(n²)からO(nk)に削減する。
• 直前の拡張層からの出力をキャッシュすることで、長距離モデリングを強化し、拡張Transformer with memoryではより豊かな文脈保持を実現する。
• 複数の直前の層からの特徴を統合するカスケード接続を適用し、カスケードTransformerでは局所的文脈モデリングを強化する。
• モデル間の一貫性を確保するため、共有ハイパーパラメータ（例：隠れ層次元2000、ヘッド数16、ドロップアウト率0.4/0.2）を用い、SGDおよび切り捨て逆誤差伝搬で学習を行う。
• 安定性を確保するため残差接続とレイヤーナーミャライゼーションを維持しつつ、注意計算パスの数を削減するアーキテクチャ設計を行う。
• パープレクサリティを主指標として、PTBおよびWT-2データセット上で全モデルを評価し、パラメータ数と推論効率を比較する。

実験結果

リサーチクエスチョン

• RQ1 接続数を削減したTransformerアーキテクチャは、言語モデリングタスクで競争力ある性能を維持できるか？
• RQ2 O(n²)からO(n)への計算複雑性の低減は、性能の著しい低下を伴わずにどの程度達成できるか？
• RQ3 軽量形態で長距離および局所的依存関係を最も効果的に保持するのは、拡張型、メモリアップド型、それともカスケード型のどのアーキテクチャか？
• RQ4 異なる軽量Transformerバリアントにおいて、パラメータ削減とパープレクサリティの劣化の相関関係はいかほどか？

主な発見

• カスケードTransformerは、完全なTransformerとほぼ同等のパープレクサリティを達成しており、局所的文脈モデリングが言語モデリングにおいて極めて重要であることを示している。
• メモリ付き拡張Transformerは、標準Transformerと比較して70%のパラメータ削減を達成しており、性能の低下は限定的である。
• すべての軽量Transformerバリアントは計算コストを顕著に低減しており、複雑性がO(n²)からO(nk)に線形にスケーリングされている。
• 最も軽量なアーキテクチャ（拡張Transformer）は、モデルサイズを70%削減しながらも、競争力のあるパープレクサリティを維持しており、制限付き環境での展開に極めて適している。
• 結果から、モデル効率性と性能の間の実現可能なトレードオフが示されており、エッジや低リソース環境における大規模言語モデルの展開が可能であると示唆している。