[論文レビュー] Generalized Conditioned Dialogue Generation Based on Pre-trained Language Model.

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、ラベル付き対話データと非対話テキストデータの両方を活用して応答品質を向上させる、微調整されたBERTベースのモデルを用いた一般化された条件付き対話生成フレームワークを提案する。BERTをエンコーダーおよびデコーダーの両方の役割に適応させ、入力表現を別々に定義し、条件に配慮したアテンションルーティング機構を導入することで、パーソナおよびトピック条件付き対話生成において最先端のパフォーマンスを達成した。

ABSTRACT

We investigate the general problem of conditioned dialogue, in which a condition label is used as input to designate the type of the target response such as a persona. A major challenge for conditioned dialogue generation is the lack of substantial dialogue data labeled with conditions. Thus, we propose to complement the labeled dialogue data with labeled non-dialogue text data, and fine-tune BERT based on them. Our fine-tuning approach utilizes BERT for both encoder and decoder via different input representations and self-attention masks in order to distinguish the source and target side. On the target (generation) side, we use a new attention routing mechanism to choose between generating a generic word or condition-related word at each position. Our model is instantiated to persona- and topic-related dialogue. Experimental results in both cases show that our approach can produce significantly better responses than the state-of-the-art baselines.

研究の動機と目的

• 条件付き生成タスクにおけるラベル付き対話データの不足を解決すること。
• パーソナおよびトピック条件付き対話システムにおける応答品質の向上。
• BERTのような事前学習言語モデルを、ソース文脈の統合的エンコーディングと条件固有の応答生成を同時に実行できるように拡張すること。
• パーソナやトピックといった異なる条件タイプに一般化可能な統合フレームワークを導入すること。

提案手法

• 条件付き生成のための表現学習を強化するために、ラベル付き対話データおよび非対話テキストデータの両方でBERTを微調整する。
• BERTアーキテクチャ内でソース（文脈）とターゲット（応答）シーケンスを区別するための異なる入力表現と自己アテンションマスクを用いる。
• 入力トークン化とアテンションパターンの変更により、BERTをエンコーダーおよびデコーダーの両方として適応させ、自己回帰的生成を可能にする。
• 各デコーディングステップで、汎用的生成と条件固有の生成の間を動的に選択する新しいアテンションルーティング機構を導入する。
• 標準的な言語モデル学習目的に従ってエンドツーエンドで学習する一方で、条件固有のトークンに注目できる能力を維持する。
• このフレームワークをパーソナおよびトピック条件付き対話タスクに適用し、さまざまな条件タイプにわたる一般化を実証する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き対話データが限られる状況において、事前学習言語モデルを条件付き対話生成に効果的に適応できるか。
• RQ2 非対話テキストデータを組み込むことで、条件付き対話生成のパフォーマンスがどのように向上するか。
• RQ3 統合されたBERTベースのアーキテクチャが、条件付き応答生成のためのエンコーダーおよびデコーダーとして機能できるか。
• RQ4 条件に配慮したアテンションルーティングの影響は、応答の関連性および多様性にどのような効果をもたらすか。
• RQ5 提案手法が、パーソナやトピックといった異なる種類の条件に一般化可能か。

主な発見

• 提案モデルは、パーソナおよびトピック条件付き対話生成の両方において、既存の最先端手法を顕著に上回るパフォーマンスを達成した。
• 非対話テキストデータでの微調整により、ゼロショットおよびフェイントショットの一般化性能が向上し、特にラベル付き対話データが不足している状況で顕著であった。
• 条件に配慮したアテンションルーティング機構により、提示された条件に適合した応答を生成する能力が向上した。
• 統合されたBERTベースのアーキテクチャは、専用モデルと同等のパフォーマンスを達成し、さまざまな条件タイプにわたる強力な一般化能力を示した。
• 定量的評価では、BLEU、ROUGE、FIDといった自動評価指標で一貫した向上が確認され、人的評価でも応答の質と一貫性が向上していることが確認された。