[論文レビュー] DeFINE: Deep Factorized Input Word Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski+2 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 43被引用数 13

ひとこと要約

DeFINEは、スキップ接続を備えた階層的アーキテクチャを用いることで、パラメータ数と学習時間を削減する深層因数分解入力語彙埋め込み手法を導入している。これにより、低次元の入力・出力層が可能となり、最先端の手法と比較して6–20%低いパープレキシティを達成し、性能の低下を最小限に抑えつつ、最大50%のパラメータ削減が可能である。この手法により、Transformer-XL や AWD-LSTM などのモデルが向上する。

ABSTRACT

For sequence models with large word-level vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep word-level representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves a Transformer model by 2% while simultaneously reducing total parameters by 26%

研究の動機と目的

• 大規模語彙を持つ系列モデルの入力・出力層における膨大なパラメータ数を削減すること。
• モデル性能を損なわず、学習効率を向上させること。
• 既存および新規の系列モデルへの効率的な統合を可能にすること。
• 低次元で因数分解された表現を用いることで、より少ないパラメータで最先端の性能を達成すること。
• スキップ接続を備えた階層的因数分解を用いて、より深い、より効率的な語彙埋め込み学習を実現すること。

提案手法

• DeFINEは、語彙埋め込みを低次元成分に因数分解することで、パラメータ数を削減する階層的アーキテクチャを採用している。
• 勾配の流れを保ち、学習安定性を向上させるために、層間における新規のスキップ接続を導入している。
• 標準の埋め込み行列の代わりに、共有された低ランク成分を用いることで、入力・出力層に深く因数分解された構造を導入している。
• このアーキテクチャにより、効率的なパラメータ共有が可能となり、ネットワーク全体のパラメータ総数が削減される。
• DeFINEはプラグアンドプレイ設計であり、AWD-LSTM や Transformer-XL といった既存モデルとも互換性がある。
• 標準的な学習手順を用いるが、パラメータ空間の縮小と最適化ダイナミクスの向上により、利点を享受できる。

実験結果

リサーチクエスチョン

• RQ1 階層的かつ因数分解された埋め込みアーキテクチャは、性能の低下を伴わずにモデルのパラメータ数を削減できるか？
• RQ2 適応的入力手法と比較して、DeFINEはパープレキシティとパラメータ効率の点でどのように異なるか？
• RQ3 DeFINEは、Transformer-XL や AWD-LSTM において、学習時間とパラメータ数をどの程度削減できるか？
• RQ4 DeFINEはモデルサイズの削減を伴いながら、機械翻訳タスクでの性能を向上させることができるか？
• RQ5 因数分解アーキテクチャにスキップ接続を導入することで、学習安定性と収束性が向上するか？

主な発見

• WikiText-103では、DeFINEによりTransformer-XLの総パラメータ数が50%削減され、性能への影響は最小限に抑えられた。
• Penn Treebankでは、DeFINEによりAWD-LSTMのパープレキシティが4ポイント改善され、パラメータ数が17%削減された。
• DeFINEは最先端の手法と同等の性能を達成するが、パラメータ数が少ないことを示しており、パラメータ効率の高さが裏付けられた。
• 機械翻訳のタスクでは、DeFINEによりTransformerモデルの性能が2 BLEUポイント向上し、総パラメータ数が26%削減された。
• 複数のベンチマークにおいて、DeFINEは最先端の手法と比較して6–20%の相対的パープレキシティ低減を達成した。
• DeFINEは、言語モデリングや機械翻訳を含む多様な系列モデリングタスクにおいて、強力な性能を維持した。