[論文レビュー] Assigning personality/identity to a chatting machine for coherent conversation generation

Qian Qiao, Minlie Huang+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling被引用数 40

ひとこと要約

本稿では、チャットボットに事前に定義されたパーソナリティ／アイデンティティを割り当てることで、一貫性があり多様で自然な応答を生成する新しいモデルを提案する。プロファイル検出器、位置検出器、双方向デコーダーを用い、特定のプロファイル属性に整合した応答を生成することで、ベースラインのseq2seqモデルに比べて応答の一貫性と多様性が顕著に向上する。

ABSTRACT

Endowing a chatbot with personality or an identity is quite challenging but critical to deliver more realistic and natural conversations. In this paper, we address the issue of generating responses that are coherent to a pre-specified agent profile. We design a model consisting of three modules: a profile detector to decide whether a post should be responded using the profile and which key should be addressed, a bidirectional decoder to generate responses forward and backward starting from a selected profile value, and a position detector that predicts a word position from which decoding should start given a selected profile value. We show that general conversation data from social media can be used to generate profile-coherent responses. Manual and automatic evaluation shows that our model can deliver more coherent, natural, and diversified responses.

研究の動機と目的

• チャットボットが、会話データからパーソナリティを学習するのではなく、事前に指定されたエージェントプロファイルに整合した応答を生成できるようにすること。
• オープンドメイン会話生成において、一貫したアイデンティティと言語スタイルを維持する課題に対処すること。
• 一般のソーシャルメディア会話データを用いて、より自然で多様かつ文脈的に適切な応答を生成すること。
• 関連するプロファイル属性を検出し、最適なデコーディング開始位置を決定するモジュラーなアーキテクチャを設計すること。

提案手法

• プロファイル検出器は、ユーザーの投稿がエージェントのプロファイルを用いて応答すべきかどうかを分類し、関連するプロファイルキーを選択する。
• 位置検出器は、選択されたプロファイル値に基づき、デコーディングを開始する最適な単語位置を予測する。
• 双方向デコーダーは、選択されたプロファイル値から前向きおよび後向きに応答を生成し、一貫性と流暢さを向上させる。
• モデルは、ユーザー固有の会話履歴を必要とせず、一般のソーシャルメディアデータ（例：Weibo）で訓練される。
• プロファイル検出器および位置検出器は、アノテート済みの投稿－応答ペairを用いた教師あり学習により、応答生成モデルとエンドツーエンドで訓練される。
• モデルは、一貫性および応答多様性を含む、投稿レベルおよびセッションレベルのメトリクスで評価される。

実験結果

リサーチクエスチョン

• RQ1 ユーザー固有の会話データに依存せずに、事前に指定されたエージェントプロファイルに整合した応答を生成できるか？
• RQ2 一般のソーシャルメディア会話データのみを用いて、プロファイルに整合した応答をどのように生成できるか？
• RQ3 提案手法は、ベースラインのseq2seqモデルに比べて、応答の一貫性と多様性をどの程度向上させるか？
• RQ4 位置検出器は、一貫した応答生成のための最適なデコーディング開始位置をどの程度効果的に選択できるか？

主な発見

• 提案されたICCMモデルは、セッションレベルの評価で60.8％の一貫性と33.3％の応答多様性を達成し、ベースラインのseq2seqモデル（2.1％の一貫性、1.6％の多様性）を顕著に上回った。
• プロファイル検出器は、手動でアノテートされた会話データ（MD）で82.0％の正確性を達成し、エージェントプロファイルを適用すべきタイミングを特定する有効性を示した。
• 位置検出器は、ほとんどのプロファイルキーで95％以上の正確性を達成した（例：都市＝99.0％、星座＝100.0％）が、稀なキー（例：名前）では低い性能（35.0％）を示した。
• 趣味、アイドル、専門分野、職業という4つの新しいプロファイルキーに拡張した場合、モデルは高い性能を維持した。論理的整合性と正しさは相対的に10％低下したが、依然としてベースラインのseq2seqを上回った。
• 手動評価により、ICCMはベースラインモデルに比べ、より自然で一貫性があり多様な応答を生成することが確認された。論理的な流れとアイデンティティの一貫性が向上した。
• 位置制御を伴う双方向デコーディング機構は、応答品質を顕著に向上させた。ICCM-Posを用いることで、多様性が10.5％増加し、一貫性が14.1％増加した。