[論文レビュー] DLGNet: A Transformer-based Model for Dialogue Response Generation

Oluwatobi Olabiyi, Erik T. Mueller|arXiv (Cornell University)|Jul 26, 2019

Topic Modeling参考文献 37被引用数 5

ひとこと要約

DLGNetは、長距離注意機構とランダムな情報パディングを活用して応答の関連性、多様性、一貫性を向上させるトランスフォーマー基盤のマルチターン対話応答生成モデルである。最大尤度による学習に限定しても、Movie TriplesおよびUbuntu DialogueデータセットにおいてBLEU、ROUGE、および固有n-gram指標で最先端の性能を達成している。

ABSTRACT

Neural dialogue models, despite their successes, still suffer from lack of relevance, diversity, and in many cases coherence in their generated responses. These issues can attributed to reasons including (1) short-range model architectures that capture limited temporal dependencies, (2) limitations of the maximum likelihood training objective, (3) the concave entropy profile of dialogue datasets resulting in short and generic responses, and (4) the out-of-vocabulary problem leading to generation of a large number of tokens. On the other hand, transformer-based models such as GPT-2 have demonstrated an excellent ability to capture long-range structures in language modeling tasks. In this paper, we present DLGNet, a transformer-based model for dialogue modeling. We specifically examine the use of DLGNet for multi-turn dialogue response generation. In our experiments, we evaluate DLGNet on the open-domain Movie Triples dataset and the closed-domain Ubuntu Dialogue dataset. DLGNet models, although trained with only the maximum likelihood objective, achieve significant improvements over state-of-the-art multi-turn dialogue models. They also produce best performance to date on the two datasets based on several metrics, including BLEU, ROUGE, and distinct n-gram. Our analysis shows that the performance improvement is mostly due to the combination of (1) the long-range transformer architecture with (2) the injection of random informative paddings. Other contributing factors include the joint modeling of dialogue context and response, and the 100% tokenization coverage from the byte pair encoding (BPE).

研究の動機と目的

• ニューラル対話モデルにおける継続的な課題、すなわちマルチターン会話における一般的で短く、一貫性のない応答を解決すること。
• 長距離モデリングを有するトランスフォーマーアーキテクチャが、再帰モデルが長期依存関係を捉える制限を克服できるかどうかを調査すること。
• 対話データセットにおける凹型エントロピー分布問題を軽減するために、ランダムな情報パディングが果たす影響を評価すること。
• バイトペア符号化（BPE）を用いて100%のトークンカバレッジを確保することで、未知語（OOV）問題を軽減すること。
• 標準的な最大尤度学習における対話文脈と応答の共同モデリングが、生成品質に与える影響を評価すること。

提案手法

• マルチターン対話文脈における長距離依存関係をモデル化するために、トランスフォーマー基盤のアーキテクチャを採用する。
• 凹型エントロピー分布に対処し、低エントロピー領域への過剰適合を防ぐために、訓練シーケンスにランダムな情報パディングを挿入する。
• 入力および出力トークンの100%カバレッジを確保するため、バイトペア符号化（BPE）を用いることでOOV問題を最小限に抑える。
• 複雑な補助目的を避けて、最大尤度推定（MLE）のみを用いてエンドツーエンドでモデルを学習する。
• 対話履歴全体と応答を1つの自己回帰的シーケンスに統合してモデリングすることで、文脈理解を向上させる。
• 複数ヘッド自己注意機構を用いて、対話ターン間の長距離依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 長距離注意機構を有するトランスフォーマー基盤モデルは、マルチターン対話生成における応答の関連性と一貫性を顕著に向上させることができるか？
• RQ2 対話シーケンスにランダムな情報パディングを挿入することで、凹型エントロピー分布に起因する短く一般的な応答の傾向を軽減できるか？
• RQ3 語彙レベルのトークン化と比較して、BPEベースのトークン化が未知語（OOV）問題をどの程度軽減するか？
• RQ4 敵対的学習や強化学習のコンponentsを含まない標準的なMLE目的関数でも、アーキテクチャ的およびデータレベルの革新を組み合わせることで、対話生成において最先端の結果を達成できるか？
• RQ5 別個の文脈表現からの自己回帰的デコードと比較して、対話文脈と応答の共同モデリングは生成品質にどのような影響を与えるか？

主な発見

• DLGNetは、Movie TriplesデータセットにおいてBLEU、ROUGE、および固有n-gram指標のすべてで最先端の性能を達成しており、先行モデルを上回っている。
• Ubuntu Dialogueデータセットでは、DLGNetはこれまで報告された中で最高の結果を達成しており、BLEUおよびROUGEスコアで顕著な向上を示している。
• 345Mパラメータを有するモデル（DLGNet-345M）は、HRED、VHRED、hredGANなどの小規模バージョンやベースラインと比較して、より多様で文脈に即した応答を生成している。
• ランダムな情報パディングにより、データ内の低エントロピー領域へのモデルのバイアスが軽減され、短く一般的な応答への傾向が顕著に減少した。
• 長距離注意機構とBPEトークン化の組み合わせにより、<UNK>トークンの数が大幅に削減され、カバレッジと応答品質が向上した。
• 強化学習やGANのような複雑な学習目的を用いなくても、DLGNetは強力な性能を達成しており、アーキテクチャ的およびデータレベルの設計選択の有効性を示している。