[論文レビュー] DeLighT: Very Deep and Light-weight Transformer

Sachin Mehta, Marjan Ghazvininejad+3 more|arXiv (Cornell University)|Aug 3, 2020

Topic Modeling参考文献 30被引用数 22

ひとこと要約

DeLighT は、顕著に少ないパラメータ数と FLOPs で標準 Transformer と同等または優れた性能を達成する非常に深く軽量な Transformer アーキテクチャです。DExTra を用いてパラメータ効率の良いブロック単位の変換と、出力に向かって段階的にブロックを深く・広くする適応的ブロックスケーリングを採用しており、モデルの深さを 2.5–4× に増加させつつパラメータ数を削減し、機械翻訳および言語モデリングタスクにおける効率性を向上させています。

ABSTRACT

We introduce a very deep and light-weight transformer, DeLighT, that delivers similar or better performance than transformer-based models with significantly fewer parameters. DeLighT more efficiently allocates parameters both (1) within each Transformer block using DExTra, a deep and light-weight transformation and (2) across blocks using block-wise scaling, that allows for shallower and narrower DeLighT blocks near the input and wider and deeper DeLighT blocks near the output. Overall, DeLighT networks are 2.5 to 4 times deeper than standard transformer models and yet have fewer parameters and operations. Experiments on machine translation and language modeling tasks show that DeLighT matches the performance of baseline Transformers with significantly fewer parameters. On the WMT'14 En-Fr high resource dataset, DeLighT requires 1.8 times fewer parameters and 2 times fewer operations and achieves better performance (+0.4 BLEU score) than baseline transformers. On the WMT'16 En-Ro low resource dataset, DeLighT delivers similar performance with 2.8 times fewer parameters than baseline transformers.

研究の動機と目的

• モデルサイズと計算コストを著しく削減しながら性能を維持または向上させる Transformer アーキテクチャの設計。
• 高い性能を発揮するが、深さとパラメータ数のスケーリングが著しく不効率である標準 Transformer の非効率性の是正。
• 後段のブロックに深さと広がりを重視したパラメータ配分戦略を検討し、表現能力を向上させること。
• 極めて深いネットワークを、パラメータ増加を最小限に抑えて実現する手法の開発により、精度を損なわず効率性を向上させること。

提案手法

• パラメータ数を削減するため、各 Transformer ブロック内のアテンション層とフィードフォワード層を再構造化する、深く軽量な変換メカニズム DExTra を導入。
• ネットワーク全体にわたりブロックの幅と深さを変化させるブロック単位のスケーリングを適用し、初期のブロックは細く浅くなり、後のブロックは広く深くなるように設計。
• 出力に向かってより深く・広いブロックを配置する段階的アーキテクチャ設計により、複雑な表現をより効率的に捉える。
• 階層的抽象化が最も効果的な後段のレイヤーに計算リソースを集中させることで、パラメータ配分を最適化。
• 極めて深いが初期レイヤーでは幅が狭い構造でも訓練の安定性を維持できる残差接続スキームを採用。
• 知識蒸留と自己教師付き事前学習を活用し、最小限のパラメータで性能を向上。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数と FLOPs を著しく削減しながら、性能を損なわず顕著に深い Transformer を実現できるか？
• RQ2 Transformer ブロック内およびブロック間でのパラメータ配分を、効率性と表現能力の両面で最適化できるか？
• RQ3 出力に向かってより深く・広いブロックを配置することで、均一または浅いブロックと比較してモデル性能が向上するか？
• RQ4 DeLighT のような軽量アーキテクチャが、少ないパラメータ数で低リソースおよび高リソースの機械翻訳タスクで標準 Transformer を上回れるか？
• RQ5 ブロック単位のスケーリングと DExTra の組み合わせが、訓練の安定性と推論効率に与える影響は何か？

主な発見

• WMT'14 En-Fr 翻訳データセットでは、DeLighT は標準 Transformer より +0.4 BLEU スコア向上を達成したが、パラメータ数は 1.8 倍少ない上に FLOPs も 2 倍少ない。
• 低リソースの WMT'16 En-Ro データセットでは、DeLighT はベースライン性能を維持しながらパラメータ数を 2.8 倍削減。
• DeLighT モデルは標準 Transformer より 2.5 から 4 倍の深さを持つことが実証され、パラメータに配慮したアーキテクチャ設計により極めて深い構造を効率的に実現可能であることを示している。
• DExTra とブロック単位のスケーリングの組み合わせにより、特に深いレイヤーにおいて、パラメータ増加を最小限に抑えつつ高い表現能力を実現。
• 両リソース豊富および低リソースの設定においても強力な性能を維持しており、データ不足に対しても頑健であることが示された。
• パラメータ数と FLOPs の両方の削減において一貫した効率性向上が得られており、DeLighT の実用的利点が顕著である。