[論文レビュー] Long Time No See! Open-Domain Conversation with Long-Term Persona Memory

Xinchao Xu, Zhibin Gou+5 more|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、長期記憶会話（LeMon）タスクを導入し、相互のパーソナ記憶を有する大規模な中国語マルチターン対話データセットDuLeMonを提案する。リアルタイムでユーザーおよびボットのパーソナ情報を動的に抽出・更新できるLong-Term Memory（LTM）機構を統合したプラグイン型フレームワークPLATO-LTMを提示しており、長期間の会話における一貫性と会話の魅力を著しく向上させている。これは、長期間の会話微調整データを必要としない。

ABSTRACT

Most of the open-domain dialogue models tend to perform poorly in the setting of long-term human-bot conversations. The possible reason is that they lack the capability of understanding and memorizing long-term dialogue history information. To address this issue, we present a novel task of Long-term Memory Conversation (LeMon) and then build a new dialogue dataset DuLeMon and a dialogue generation framework with Long-Term Memory (LTM) mechanism (called PLATO-LTM). This LTM mechanism enables our system to accurately extract and continuously update long-term persona memory without requiring multiple-session dialogue datasets for model training. To our knowledge, this is the first attempt to conduct real-time dynamic management of persona information of both parties, including the user and the bot. Results on DuLeMon indicate that PLATO-LTM can significantly outperform baselines in terms of long-term dialogue consistency, leading to better dialogue engagingness.

研究の動機と目的

• オープンドメイン会話システムにおける長期的パーソナモデリングの欠如に取り組むこと、特に長期間にわたる対話において一貫性を維持することを目的とする。
• ユーザーとボットの間で相互にパーソナ記憶が保持される現実的な長期会話タスクを設計し、静的パーソナ設定を越えること。
• 複数セッションの微調整データに依存せずに、リアルタイムかつ動的なユーザーおよびボットのパーソナ記憶管理を可能にするフレームワークを開発すること。
• 長期記憶メカニズムがオープンドメイン会話における一貫性と魅力を向上させることの有効性を評価すること。

提案手法

• 長期記憶会話のための新しいベンチマークとしてLeMonタスクを提案し、相互のパーソナ保持と動的更新に重点を置く。
• 10,907件のマルチターン対話から構成される大規模な中国語対話データセットDuLeMonを構築し、各発話においてユーザーおよびボットのパーソナが明示的にアノテートされている。
• PLATO-LTMを設計し、会話履歴からパーソナ関連文をフィルタリング・抽出するパーソナ抽出器（PE）を統合したプラグアンドプレイ型フレームワークである。
• ユーザーとボットのための別々の記憶を備えた二重の長期記憶（LTM）モジュールを採用し、パーソナ事実をリアルタイムで継続的に更新して保存する。
• 両記憶から取得したパーソナ文を、大規模な生成モデル（PLATO-2）の入力に直接統合して応答生成を実行する。
• 10エピソード、各エピソードが16ラウンドの4セッションからなる自己会話評価設定を用い、ユーザーシミュレータと対話することで一貫性と魅力を評価する。

実験結果

リサーチクエスチョン

• RQ1 長期間の会話において、長期間の会話微調整データに依存せずに、自身のパーソナとユーザーの進化するパーソナを維持・活用できるか？
• RQ2 リアルタイムかつ動的なパーソナ抽出および記憶メカニズムは、会話の一貫性と魅力を向上させるのにどの程度効果的か？
• RQ3 専用のパーソナ抽出器を導入することで、生の記憶のみを使用する場合と比較して、長期記憶システムの性能が顕著に向上するか？
• RQ4 小規模データセットでの微調整は、オープンドメインで長時間にわたる会話において、事前学習済み会話モデルの整合性をどの程度損なうか？

主な発見

• PLATO-LTMは会話の一貫性スコア0.87を達成し、ベースラインのPLATO-2および微調整済みPLATO-FT（0.40）を著しく上回り、LTM機構の有効性を示している。
• PLATO-LTMにおけるパーソナ抽出器（PE）の使用により、PLATO-FTと比較して会話の一貫性が118%向上し、正確なパーソナ記憶管理におけるPEの重要性が浮き彫りになった。
• PLATO-LTMは人間による魅力スコア1.54を達成し、ベースラインのPLATO-2を上回っており、より良いパーソナ活用によるユーザーの関与向上を示している。
• パーソナ抽出器を除いたPLATO-LTM（PLATO-LTM w/o PE）では、魅力スコアが1.43に低下し、PEが一貫性と魅力の両方を向上させることを確認した。
• DuLeMonデータセットでの微調整は会話の整合性をわずかに損なうことが判明し、PLATO-FTの整合性スコアは1.59であり、非微調整のPLATOベースラインより低かった。これは、微調整がオープンドメインの整合性に悪影響を及える可能性があることを示唆している。
• PEが存在しないLTM機構のみでも、ベースラインモデルを上回る一貫性（0.49）を達成しており、記憶の保存と取得そのものに測定可能な利点があることが示された。