[論文レビュー] DeFINE: DEep Factorized INput Token Embeddings for Neural Sequence Modeling

Sachin Mehta, Rik Koncel-Kedziorski+2 more|arXiv (Cornell University)|Nov 27, 2019

Topic Modeling参考文献 45被引用数 13

ひとこと要約

DeFINEは、深く階層的な要因分解された入力埋め込み手法を導入し、新しいスイッチバック接続付きHGT（階層的グループ変換）アーキテクチャを用いて低次元のトークン表現を学習することで、ニューラルシーケンスモデルのパラメータ数を削減する。6–20%低いパープレキシティを達成し、最大50%少ないパラメータで、AWD-LSTM や Transformer-XL よりも優れた性能を発揮しながら、推論速度を維持する。

ABSTRACT

For sequence models with large vocabularies, a majority of network parameters lie in the input and output layers. In this work, we describe a new method, DeFINE, for learning deep token representations efficiently. Our architecture uses a hierarchical structure with novel skip-connections which allows for the use of low dimensional input and output layers, reducing total parameters and training time while delivering similar or better performance versus existing methods. DeFINE can be incorporated easily in new or existing sequence models. Compared to state-of-the-art methods including adaptive input representations, this technique results in a 6% to 20% drop in perplexity. On WikiText-103, DeFINE reduces the total parameters of Transformer-XL by half with minimal impact on performance. On the Penn Treebank, DeFINE improves AWD-LSTM by 4 points with a 17% reduction in parameters, achieving comparable performance to state-of-the-art methods with fewer parameters. For machine translation, DeFINE improves the efficiency of the Transformer model by about 1.4 times while delivering similar performance.

研究の動機と目的

• 大ボリュームの語彙を有するシーケンスモデルの入力・出力層における高いパラメータ数を削減すること。
• コンパクトで深いトークン表現を学習することで、パフォーマンスを損なわず効率を向上させること。
• Transformer や LSTM などの既存モデルに即座に統合可能なプラグアンドプレイの統合を可能にすること。
• 深さ、幅、スイッチバック接続などのアーキテクチャ的選択が、最適な表現学習に与える影響を調査すること。
• 言語モデリングや機械翻訳を含む、語彙レベルおよびサブワードレベルのタスクにおいて、有効性を実証すること。

提案手法

• DeFINEは、高次元入力を低次元表現にマップするスタックされたスパースに接続された層を用いた階層的グループ変換（HGT）に、標準的な埋め込み層を置き換える。
• 各HGT層を入力に直接接続する、新しいスイッチバック接続メカニズムを導入し、マルチパス勾配伝播を可能にすることで、学習安定性を向上させる。
• グループ間の特徴を組み合わせるミキシング層を採用し、表現能力を高めつつ、パラメータ増加を最小限に抑える。
• 高次元入力を低次元空間に投影するMER（マッピング・埋め込み・表現）戦略を採用し、コンテキストモデリング前の計算負荷を低減する。
• アーキテクチャは、コアモデルを変更せずに、入力・出力埋め込み層のみを置き換えるように設計されており、プラグアンドプレイが可能である。
• 単語やサブワードを含むさまざまなトークンタイプをサポートし、キャッシュされた埋め込みにより推論速度を維持できる。

実験結果

リサーチクエスチョン

• RQ1 入力埋め込みの深く階層的な要因分解は、シーケンスモデリングにおいてパフォーマンスを劣化させることなく、モデルパラメータ数を削減できるか？
• RQ2 階層構造内でのスイッチバック接続は、表現品質と学習効率にどのように影響するか？
• RQ3 DeFINEは、言語モデリングや機械翻訳のような大ボリューム語彙タスクにおいて、どの程度パフォーマンスを向上させられるか？
• RQ4 深さ（N）や幅（k）といったアーキテクチャハイパーパrameterが、モデルパフォーマンスとパラメータ効率に与える影響はどの程度か？
• RQ5 DeFINEは、適応的入力・出力表現といった既存技術と組み合わせることで、さらに効率と精度を向上させられるか？

主な発見

• WikiText-103では、DeFINEはTransformer-XLの総パラメータ数を50%削減し、性能低下を最小限に抑え、テストパープレキシティは41.17の元モデルに対し40.92を達成した。
• Penn Treebankでは、DeFINEはAWD-LSTMを4パープレキシティポイント改善し、パラメータ数を17%削減し、テストパープレキシティ54.2を達成した。これは、元モデルおよび微調整済みAWD-LSTMを上回る性能であった。
• 適応的入力・出力手法と組み合わせた場合、LSTMおよびTransformer-XLベースのモデルでパフォーマンスが3ポイント向上し、パラメータ増加は最小限に抑えられた。
• 機械翻訳タスクでは、DeFINEはTransformerモデルの効率性を26%向上（約1.4倍の高速化に相当）させながら、翻訳品質を維持した。
• DeFINEのスイッチバック接続機構は、これなしのベースラインと比較して2.9ポイントのパープレキシティ改善をもたらし、表現学習における有効性を示した。
• 深さ（N）の拡大はパフォーマンス向上に寄与するが、深さを増さずに幅（k）を増やすと冗長性が増加し、恩恵は得られず、最適設計は深さを優先する傾向にあることが示された。