[論文レビュー] DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation

Yizhe Zhang, Siqi Sun+7 more|arXiv (Cornell University)|Nov 1, 2019

Topic Modeling参考文献 28被引用数 103

ひとこと要約

DialoGPTはGPT-2をベースに構築された大規模なオープンドメイン対話応答生成モデルで、147MのReddit対話交換で訓練され、単一ターンの対話でほぼ人間に近い性能を達成し、研究のための事前学習済みモデルと学習パイプラインを公開している。

ABSTRACT

We present a large, tunable neural conversational response generation model, DialoGPT (dialogue generative pre-trained transformer). Trained on 147M conversation-like exchanges extracted from Reddit comment chains over a period spanning from 2005 through 2017, DialoGPT extends the Hugging Face PyTorch transformer to attain a performance close to human both in terms of automatic and human evaluation in single-turn dialogue settings. We show that conversational systems that leverage DialoGPT generate more relevant, contentful and context-consistent responses than strong baseline systems. The pre-trained model and training pipeline are publicly released to facilitate research into neural response generation and the development of more intelligent open-domain dialogue systems.

研究の動機と目的

• 大規模な事前訓練済みトランスフォーマーモデルを用いてオープンドメインの対話生成を動機づける。
• 大規模な会話データに対する対話特化の事前学習が応答品質を向上させることを示す。
• DSTC-7および複数参照Redditデータセットで最先端の自動評価と人間評価の性能を示す。
• さらなる研究を促進するためのオープンソースの訓練パイプラインと事前学習済みモデルを提供する。

提案手法

• GPT-2アーキテクチャを拡張して対話ターンを長いテキストとして連結し、条件付き確率P(T|S)を最大化することでマルチターン対話をモデル化する。
• 117M、345M、762Mパラメータの3つのモデルサイズを、50,257語彙のバイトペアエンコーディングを用いて147MのReddit対話で訓練する。
• 情報量最大化の再ランキング（MMI）ステップを後方モデルを用いて適用し、情報量が多く平凡でない応答を優先する。
• トポKサンプリングやビームサーチを含む生成設定を用いて多様性と品質を評価する。
• 自動指標(NIST, BLEU, METEOR, Entropy, Dist)とDSTC-7および6K Reddit複数参照テストセットでの人間評価を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模対話データで訓練されたGPT-2ベースのモデルは、ベースラインよりも関連性が高く、情報量が多く、文脈的一貫性のあるオープンドメイン応答を生成できるか？
• RQ2 より大きなモデルサイズとデコード戦略（ビームサーチ）は、オープンドメイン対話生成の自動・人間評価スコアを改善するか？
• RQ3 情報量による後方モデル再ランキングは、関連性を損なうことなく応答の多様性と情報量を改善するか？
• RQ4 GPT-2事前訓練からのファインチューニングは、Redditデータでのゼロからの訓練と比較して対話生成にどう影響するか？

主な発見

• ビームサーチを用いたDialoGPT-345Mは、6K Reddit複数参照テストセットのほとんどの指標で最高の自動スコアを達成した。
• より大きなモデル(345Mおよび762M)は自動指標と人間評価の両方で117Mバリアントを上回る。
• ビームサーチはBLEUとDist-n指標を大きく改善し、NISTとMETEORはわずかな向上にとどまる。
• MMI再ランキングは多様性と情報量を増し(NIST, METEOR, Entropy, Distの向上)、BLEUはわずかに低下。
• 人間評価では、DialoGPTのバリアントが本番風のベースライン（PersonalityChat）より強い好評を得ており、いくつかの指標でMMIバリアントが人間の好みに近づくかそれを上回るケースがある。