[論文レビュー] A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models

Weijie Zhang, Jiaoxuan Chen+3 more|arXiv (Cornell University)|Jun 28, 2021

Topic Modeling参考文献 17被引用数 4

ひとこと要約

本稿では、微調整されたT5およびその他の事前学習言語モデルを用い、N-gramおよび編集距離を用いたエンティティフィルタリングと、応答生成のためのポ인터ネットワークを統合した知識に基づく対話システムを提示する。このシステムはDSTC9 Track 1で自動評価および人間評価の両方で上位10位以内を達成し、すべてのサブタスクでベースラインを上回り、精度と効率性が向上した。

ABSTRACT

We present a knowledge-grounded dialog system developed for the ninth Dialog System Technology Challenge (DSTC9) Track 1 - Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access. We leverage transfer learning with existing language models to accomplish the tasks in this challenge track. Specifically, we divided the task into four sub-tasks and fine-tuned several Transformer models on each of the sub-tasks. We made additional changes that yielded gains in both performance and efficiency, including the combination of the model with traditional entity-matching techniques, and the addition of a pointer network to the output layer of the language model.

研究の動機と目的

• FAQなどの非構造的知識ソース（構造化データベースに限らない）を用いて質問に応答できるタスク指向型対話システムの開発。
• 事前学習言語モデルを用いて、知識探索ターン検出、知識選択、応答生成のパフォーマンスと効率性を向上させること。
• N-gramおよび編集距離といった従来のテキストマッチング手法と神経ネットワークを組み合わせることで、エンティティフィルタリングによる計算コストの低減。
• T5に統合されたポインタネットワークを用いて、入力知識からのトークンコピーにより応答生成の質を向上させること。
• テストデータにおける未知のドメインやエンティティに対するシステムの一般化能力の評価。

提案手法

• 知識探索ターン検出、知識選択、応答生成の3つのサブタスクに、微調整されたT5、ELECTRA、その他の事前学習言語モデルを適用。
• 神経ネットワークの推論前に、N-gramおよび編集距離に基づくフィルタリングを適用し、候補エンティティを削減することで、効率性と再現率を向上。
• T5デコーダーの上にポインタネットワークを統合し、入力知識からのトークンコピーにより応答生成の質を向上。
• アンサンブル学習としきい値チューニング（$t_{\text{ktd}} = 0.25$）を用いて、未知データに対するロバスト性と一般化能力を向上。
• トレーニングには交差エントロピー損失を採用し、ファーコン損失も検証したが、わずかな向上しか得られなかった。
• パイプラインアーキテクチャを採用し、ベースラインと整合性を保ちつつ、各段階を最新のNLP技術で強化。

実験結果

リサーチクエスチョン

• RQ1 T5 や ELECTRA といった事前学習言語モデルは、BERT や GPT-2 といった古いモデルよりも、知識に基づく対話タスクで優れた性能を示せるか？
• RQ2 神経ネットワークと従来のテキストマッチング手法（N-gram、編集距離）を組み合わせることで、候補空間の縮小と検索精度の向上がどの程度達成できるか？
• RQ3 ポインタネットワークは、知識に基づく対話システムにおける応答生成の質をどの程度向上させられるか？
• RQ4 未知のドメインやエンティティに対してモデルの性能がどの程度低下するか、またアンサンブル手法やしきい値チューニングがこれを緩和できるか？
• RQ5 異なる損失関数（交差エントロピー対比してファーコン損失）は、知識選択および応答生成にどのような影響を与えるか？

主な発見

• T5モデルは、知識探索ターン検出の検証データで99％を超えるF1スコアを達成し、学習済みデータに対する強い性能を示した。
• N-gramおよび編集距離を用いたエンティティフィルタリングにより、正解の99.7％以上を保持しながら候補数を大幅に削減し、推論効率が向上した。
• T5-pointerモデルは、テストデータで最高のBLEU-4、METEOR、ROUGE-Lスコアを記録し、ROUGE-Lでは2位、BLEU-4では24チーム中7位を達成した。
• 知識選択タスクにおいて、T5アンサンブルモデルは24チーム中9位を達成し、ELECTRAおよびBERTベースのモデルを上回ったが、特に未知のテストデータに対しては性能が劣化した。
• 検証データでは強く性能を示したが、テストデータでは特に未知のドメインやエンティティに対して性能が低下した。これは、より良い一般化能力の向上が求められることを示唆している。
• 自動評価では4位、人間評価では12チームのファイナリストの中での10位を達成し、高品質で自然な応答を生成できることを裏付けた。