[論文レビュー] Aiming to Know You Better Perhaps Makes Me a More Engaging Dialogue Partner

Yury Zemlyanskiy, Fei Sha|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 26被引用数 3

ひとこと要約

本稿では、会話の過程で対話エージェントが相手の人物についてどれだけ学ぶかを定量化するためのメトリクスであるDiscoveryScoreを提案する。会話の関与を情報発見として定式化することで、期待されるDiscoveryScoreを最大化するように応答を再順序付けするシミュレーテッド・ヒューマン・モデルを用いることで、エージェントはより興味を引かせる、パーソナライズされた、かつ魅力的な会話を生成する。これは、人間による評価において、ベースラインを著しく上回る結果を示した。

ABSTRACT

There have been several attempts to define a plausible motivation for a chit-chat dialogue agent that can lead to engaging conversations. In this work, we explore a new direction where the agent specifically focuses on discovering information about its interlocutor. We formalize this approach by defining a quantitative metric. We propose an algorithm for the agent to maximize it. We validate the idea with human evaluation where our system outperforms various baselines. We demonstrate that the metric indeed correlates with the human judgments of engagingness.

研究の動機と目的

• 関与度の高いチャットボット・システムの明示的最適化目的の欠如に対処すること。
• 関与度を、エージェントが相手の人物的側面を発見することを目的とするものとして形式化すること。
• 人間の関与度の認識と相関する測定可能なメトリクス、すなわちDiscoveryScoreを構築すること。
• 一貫性を保ちながら情報発見を最大化する応答選択戦略を設計すること。
• Amazon Mechanical Turkを用いた人間評価を通じて、このアプローチの妥当性を検証することにより、関与度スコアの向上を示すこと。

提案手法

• 会話の過程で人間の相手について発見された真の個人的側面の数を測る定量的メトリクスとして、DiscoveryScoreを提案する。
• 候補となる応答の期待されるDiscoveryScoreを推定するために、相手の人物を模倣する個人化された会話モデル（ProfileMemory+）をシミュレーターとして用いる。
• 2段階の再順序付けプロセスを採用：まず100件の応答候補を生成し、次に各候補についてProfileMemory+モデルを用いて10回の会話シミュレーションを実行し、期待されるDiscoveryScoreを推定する。
• 応答生成にはビームサーチ（100ビーム）とグリーディデコードを適用し、DiscoveryScoreに基づく再順序付けにより、最も情報量の多い応答を選択する。
• PersonaChatおよびOpenSubtitlesの両データセットを用いてProfileMemory+モデルを学習させ、人物理解力と応答の一貫性を向上させる。
• Mechanical Turkを用いた人間評価により、文の自然さ、一貫性、特に1〜5段階の関与度を評価する。併せて、人物特定の正確性も評価する。

実験結果

リサーチクエスチョン

• RQ1 対話エージェントが相手との会話において、相手の個人的側面を発見することを明示的に目指すことで、関与度を向上させることができるか？
• RQ2 提案されたDiscoveryScoreメトリクスは、オープンドメイン会話における人間の関与度判断と相関しているか？
• RQ3 期待されるDiscoveryScoreを最大化することを目的とした応答選択戦略は、標準的なベースラインと比較してより関与度の高い会話を生み出せるか？
• RQ4 シミュレーテッド・ヒューマン・モデル（ProfileMemory+）の使用は、DiscoveryScoreの推定とその結果としての会話品質にどのような影響を与えるか？
• RQ5 DiscoveryScoreに基づく再順序付けは、自己の暴露を減らし、相手の情報を中心とした質問を増やす程度はどの程度か？

主な発見

• DiscoveryScoreに基づく再順序付け手法は、テストされたすべてのチャットボット・モデルにおいて、人間による関与度スコアを顕著に向上させた。評価者はしばしばエージェントを「本気で関心を持っている」と評した。
• 関与度と単純な指標（応答長や質問数）との間に強い相関は認められなかったが、DiscoveryScoreとの相関は強く確認された。
• ProfileMemory+モデルはPersonaChatデータセットにおいて最先端のパープレキシティを達成し、標準的なseq2seqモデルと比較してより優れた人物利用能力を示した。
• DiscoveryScoreに基づく再順序付けを適用した際、人物特定スコアはわずかに低下した。これは自己の暴露が減少し、相手の事実に焦点を当てる傾向が強まったことを示している。
• 人間評価者による評価では、DiscoveryScore最適化済みシステムの関与度スコアは、再順序付けを行わないベースラインモデルと比較して顕著に高く（p < 0.01）評価された。
• 例示された会話文では、再順序付けされたモデルがより探求的で文脈に即した質問を生成しており、一貫性と自然さを保ちながらも、会話の質が向上していた。