[論文レビュー] Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?

Yufan Zhao, Wei Wu+1 more|arXiv (Cornell University)|Nov 19, 2020

Topic Modeling参考文献 21被引用数 9

ひとこと要約

この論文は、外部の知識源に依存せずに、事前学習された言語モデル（PLM）がオープンドメイン対話生成の内部知識ベースとして機能できるかどうかを調査する。DialoGPT や GPT-2 などの PLM を、少数の知識豊富な対話データで微調整することで、外部知識を必要とする最先端のモデルと同等の応答を生成する。これは、PLM が文脈に即した一貫性があり、具体的な対話生成に十分な知識を内蔵していることを示している。

ABSTRACT

We study knowledge-grounded dialogue generation with pre-trained language models. Instead of pursuing new state-of-the-art on benchmarks, we try to understand if the knowledge stored in parameters of the pre-trained models is already enough to ground open domain dialogues, and thus allows us to get rid of the dependency on external knowledge sources in generation. Through extensive experiments on benchmarks, we find that by fine-tuning with a few dialogues containing knowledge, the pre-trained language models can outperform the state-of-the-art model that requires external knowledge in automatic evaluation and human judgment, suggesting a positive answer to the question we raised.

研究の動機と目的

• 事前学習された言語モデル（PLM）が、外部の知識源に依存せずに、オープンドメイン対話に文脈をもたせられる十分な知識を内蔵しているかどうかを調査すること。
• 少数の知識豊富な対話データで PLM を微調整することで、外部知識を用いるモデルと同等の情報性と関連性を持つ応答を生成できるかどうかを評価すること。
• 外部知識に依存する最先端のモデルと比較して、PLM（例：DialoGPT、GPT-2）の性能を自動評価指標と人間評価を用いて評価すること。
• 特に数値、時刻、場所などの詳細な事実情報の保持と適切な適用における PLM の限界を理解すること。

提案手法

• Wizard of Wikipedia、CMU DoG、Topical-Chat の3つのベンチマークから得た訓練データ（知識を含む対話データのみ）を用いて、大規模な事前学習された言語モデル（DialoGPT と GPT-2）を微調整する。
• 訓練および推論の過程で外部知識ソースを排除し、モデルパラメータに埋め込まれた知識のみに依存する。
• 応答品質をベースラインと比較するために、BLEU、ROUGE、F1、およびパープレキシティ（PPL）といった自動評価指標を用いる。
• 500件のサンプル化されたテスト文脈に対して人間評価を実施し、流れのよさ、一貫性、知識の存在、関連性、正確性を4名のアノテーターによる二値ラベルで評価する。
• アノテーター間の一貫性を確保するため、Fleissのカappaを用いて評価の信頼性を測定する。
• 外部知識を用いる強力なベースライン（DRD）と比較して、対話データで微調整されたモデル（DialoGPT finetune、GPT-2 finetune）の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 外部知識源にアクセスできない状況下でも、事前学習された言語モデルは、文脈に即した知識豊富な応答を生成できるか？
• RQ2 少数の知識豊富な対話データでの微調整が、PLM が関連性があり事実に即した応答を生成する能力をどの程度向上させるか？
• RQ3 自動評価および人間評価の両方において、外部知識に依存する最先端のモデルと比較して、PLM の性能と事実の正確性はどのように異なるか？
• RQ4 特に数値、時刻、場所などの事実的詳細に関して、PLM が知識に基づいた対話で示す主な失敗モードは何か？

主な発見

• 少数の知識豊富な対話データで微調整した後、DialoGPT finetune は、特に CMU DoG ベンチマークにおいて、最先端モデル DRD を自動評価指標（F1）で上回った。
• 人間評価では、微調整済みの PLM が高水準の流れのよさと一貫性を持つ応答を生成しており、関連する知識を効果的に伝えることができたが、特定の詳細（例：数値や日時）に関しては事実誤認を示す場合もあった。
• 人間評価では、アノテーター間の一貫性が顕著に高く（全 Fleiss のカappa値が 0.6 を超えていた）、判断プロセスの信頼性が裏付けられた。
• 改善が見られたものの、微調整済みの PLM は知識の断片を不自然に組み合わせたり、一般的な応答を生成する傾向があり、構造的な知識統合における課題が明らかになった。
• 結果から、事前学習された言語モデルは、特にトピック特化した対話データで微調整された場合、オープンドメイン対話に文脈をもたせるのに十分な知識を内蔵していることが示唆された。外部知識源への依存が軽減された。
• GPT-2 finetune は DialoGPT finetune よりも性能が低く、微調整データのサイズが小さく、対話特化の事前学習が行われていないことが主な要因とされる。