[論文レビュー] BoB: BERT Over BERT for Training Persona-based Dialogue Models from Limited Personalized Data

Haoyu Song, Yan Wang+3 more|arXiv (Cornell University)|Jun 11, 2021

Topic Modeling参考文献 36被引用数 14

ひとこと要約

この論文では、人物基盤対話生成を応答生成と人物一貫性理解の2つのタスクに分離するBERT-over-BERTモデルBoBを提案する。非対話型推論データを大規模に活用し、双方向デコーダー上で不確実性学習の目的関数を適用することで、限定的な個人情報付き対話データでも人物一貫性が著しく向上し、自動評価および人的評価の両方で強力なベースラインを上回る。

ABSTRACT

Maintaining consistent personas is essential for dialogue agents. Although tremendous advancements have been brought, the limited-scale of annotated persona-dense data are still barriers towards training robust and consistent persona-based dialogue models. In this work, we show how the challenges can be addressed by disentangling persona-based dialogue generation into two sub-tasks with a novel BERT-over-BERT (BoB) model. Specifically, the model consists of a BERT-based encoder and two BERT-based decoders, where one decoder is for response generation, and another is for consistency understanding. In particular, to learn the ability of consistency understanding from large-scale non-dialogue inference data, we train the second decoder in an unlikelihood manner. Under different limited data settings, both automatic and human evaluations demonstrate that the proposed model outperforms strong baselines in response quality and persona consistency.

研究の動機と目的

• 限定的な個人情報付き対話データしか入手できない状況において、頑健な人物基盤対話モデルを訓練する課題に対処すること。
• リソースが限られた環境でしばしば損なわれる人物一貫性を、生成された応答において向上させること。
• 対話に特化した人物情報豊富なデータに依存せず、非対話型推論データを用いて一貫性理解を事前学習する可能性を検討すること。
• 対話生成と一貫性理解を2つのサブタスクに分離することで、モデルの特化とデータ効率を向上させること。
• 非対話型推論データ上で不確実性学習を適用することで、モデルが一貫性のない応答を排除する能力が向上することを示すこと。

提案手法

• モデルはBERTベースのエンコーダーと、2つのBERTベースのデコーダー（応答生成用と一貫性理解用）を備える。
• 応答生成デコーダー（D₁）は、対話文脈と人物情報を条件として、粗い応答表現を生成する。
• 一貫性理解デコーダー（D₂）は、応答表現と人物情報を入力として受け取り、応答が一貫しているかどうかを予測する。不確実性目的関数を用いて、矛盾する出力をペナルティ処理する。
• 不確実性目的関数は、SNLIおよびMNLIデータセット上で推論データの事前学習中に適用され、モデルが一貫性のない応答を排除するように学習される。
• すべてのコンponentsは事前学習済みBERTから初期化され、限定的な人物情報豊富な対話データ上で微調整される。
• モデルはエンドツーエンドで訓練され、D₂は対話のアノテーションを必要としない非対話型推論データ上で独立して学習され、一貫性の理解を学ぶ。

実験結果

リサーチクエスチョン

• RQ1 人物基盤対話を応答生成と一貫性理解に分離することで、リソースが限られた環境下でもモデル性能が向上するか？
• RQ2 非対話型推論データ上で不確実性学習を適用することで、モデルが一貫性のない人物応答を検出する能力が実際に向上するか？
• RQ3 大規模な推論データ上で事前学習することで、大規模な人物情報豊富な対話データの不足を補えるか？
• RQ4 専用の一貫性デコーダーの導入が、応答品質と一貫性メトリクスにどのように影響するか？
• RQ5 BoBのアーキテクチャそのものが、単なるBERT初期化よりも、誤差と一貫性の両方の向上に寄与する程度はどの程度か？

主な発見

• BoBモデルは、PersonaChatデータセット全体で0.60の人物一貫性スコア（Per.C.）を達成し、ベースラインのGPT-2モデルを著しく上回った。
• 不確実性目的関数を除いた場合（w/o UL）の人物一貫性スコアは0.48に低下し、不確実性学習が一貫性理解に不可欠であることが示された。
• 2つのデコーダーと不確実性学習を備えたモデルは、PersonaChatでPPLが7.8を達成したが、これは、バニラBERTベースラインの25.7 PPLよりも著しく低い。
• アブレーションスタディの結果、双方向デコーダー（D₂）が低い誤差に最も寄与しており、応答生成品質におけるその重要な役割が示された。
• 人的評価では、BoBが強力なベースラインと比較して、より一貫性があり文脈的に適切な応答を生成することが確認された。特に、人物の一貫性を維持する点で優れている。
• モデルは、人物情報豊富な設定および人物情報が乏しい設定の両方で良好に一般化し、データ不足に対しても頑健であることが示された。