[論文レビュー] Deep Residual Output Layers for Neural Language Generation

Nikolaos Pappas, James Henderson|arXiv (Cornell University)|May 14, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、ニューラル言語生成における構造的出力ラベル埋め込みを学習するための深層残差ニューラルネットワーク、Deep Residual Output Layers (DRILL) を提案する。スタックされた非線形層の間に残差接続とドロップアウトを適用することにより、ランクや次元数を増加させることなく分類器の表現力を向上させ、言語モデル作成および機械翻訳の両分野で最先端または競争力のある結果を達成した。特に、パrameter数を少なくした状態で、Transformer (base) を上回り、RNMT+ と同等の性能を発揮した。

ABSTRACT

Many tasks, including language generation, benefit from learning the structure of the output space, particularly when the space of output labels is large and the data is sparse. State-of-the-art neural language models indirectly capture the output space structure in their classifier weights since they lack parameter sharing across output labels. Learning shared output label mappings helps, but existing methods have limited expressivity and are prone to overfitting. In this paper, we investigate the usefulness of more powerful shared mappings for output labels, and propose a deep residual output mapping with dropout between layers to better capture the structure of the output space and avoid overfitting. Evaluations on three language generation tasks show that our output label mapping can match or improve state-of-the-art recurrent and self-attention architectures, and suggest that the classifier does not necessarily need to be high-rank to better model natural language if it is better at capturing the structure of the output space.

研究の動機と目的

• ニューラル言語生成において一般的に見られる大規模かつスパースな出力ラベル空間における意味的な構造の学習という課題に取り組む。
• 出力分類器の表現力を高めることで、低リソースおよびレアな出力ラベルにおける汎化性と転移学習を向上させる。
• ランクや次元数を増加させずに、より深いラベルマッピングによる分類器の性能向上が最先端モデルを上回ることを検証する。
• 残差接続とドロップアウトを用いることで、高容量の出力分類器における過学習を軽減し、モデルの効率性を維持する。

提案手法

• 標準的な線形分類器に代わる、単語埋め込みから結合入出力空間への深層残差非線形マッピングを提案する。
• 1つ以上の層をスキップする残差接続を用い、勾配の流れを容易にし、入力情報の保持を可能にする。
• 残差ブロック間でドロップアウトを適用し、ネットワークの正則化を図り、過学習を防止する。
• 出力予測に標準的なドット積とソフトマックス演算を維持することで、既存のエンコーダー・アーキテクチャとの互換性を保つ。
• 2種類の異なるドロップアウト戦略を採用する：隠れ表現への通常のドロップアウトと、残差接続をランダムにゼロ化する残差ドロップアウト。
• 入力エンコーダー（例：RNN、Transformer）はそのままで、出力分類器のみをDRILLモジュールに置き換える。

実験結果

リサーチクエスチョン

• RQ1 ランクや次元数を増加させずに、より深い残差ベースの出力ラベルマッピングが、ニューラル言語生成の性能向上に寄与するか？
• RQ2 出力空間におけるより表現力のある構造の学習が、特に周頻度または希少語に対して、より良い汎化をもたらすか？
• RQ3 出力層における残差接続とドロップアウトが、浅いまたは非残差マッピングと比較して過学習を軽減し、汎化性能を向上させるか？
• RQ4 単純でモジュラーな出力層の置き換えが、複雑で高容量のエンコーダー・アーキテクチャを上回る程度の性能を発揮できるか？

主な発見

• Wikitext-2言語モデルベンチマークにおいて、DRILLは18.3のテストパーピリュティを達成し、Transformer (base) を0.8ポイント上回り、大幅に少ないパrameter数でTransformer (big) モデルと同等の性能を発揮した。
• 32K BPE語彙の英語→ドイツ語翻訳タスクにおいて、DRILLを搭載したTransformer (base) は28.1 BLEUを達成し、標準のTransformer (base) を0.8 BLEU上回り、二重非線形マッピング手法を0.6 BLEU上回った。
• 低頻度語の予測性能が向上しており、構造的出力埋め込みを通じて意味的に類似するラベル間での転移学習が改善されていることが示された。
• DRILLは、より深いデコーダーやハイブリッドアーキテクチャを用いる複雑なアンサンブルモデル（例：RNMT+ キャスケード型、multicol）と同等またはそれ以上の性能を発揮したが、単一モデルかつアンサンブルではない点が特徴である。
• 入力エンコーダーを変更せずとも最先端の結果を達成したため、出力層設計が性能向上のための重要な、かつあまり注目されていない要因であることが示唆された。