[論文レビュー] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning

Deborah A. Cohen, Moonkyung Ryu+9 more|arXiv (Cornell University)|Jul 25, 2022

Speech and dialogue systems被引用数 7

ひとこと要約

本稿では、会話履歴を最先端（SOTA）の言語モデルを用いて埋め込み表現し、確率的で変化する行動空間を用いて応答を動的に計画する強化学習（RL）ベースの対話システムを提案する。クラウドソーシングデータで学習させ、Googleアシスタントに実装した結果、SOTAの教師ありTransformerベースラインを著しく上回り、会話の長さが20%増加し、明示的な肯定的フィードバックが32%増加し、否定的フィードバックが18%減少した。

ABSTRACT

Despite recent advances in natural language understanding and generation, and decades of research on the development of conversational bots, building automated agents that can carry on rich open-ended conversations with humans "in the wild" remains a formidable challenge. In this work we develop a real-time, open-ended dialogue system that uses reinforcement learning (RL) to power a bot's conversational skill at scale. Our work pairs the succinct embedding of the conversation state generated using SOTA (supervised) language models with RL techniques that are particularly suited to a dynamic action space that changes as the conversation progresses. Trained using crowd-sourced data, our novel system is able to substantially exceeds the (strong) baseline supervised model with respect to several metrics of interest in a live experiment with real users of the Google Assistant.

研究の動機と目的

• 現実世界の状況において、豊富でオープンエンドな会話を可能にするリアルタイムでスケーラブルな対話システムの開発を目的とする。
• オープンエンド対話における膨大な状態空間、無限に拡張する動的行動空間、および複雑な報酬設計の課題に対処することを目的とする。
• 進化する行動集合に特化した高度なRLアルゴリズムと、最先端の教師あり言語モデルを組み合わせることで、対話における動的計画を可能にすることを目的とする。
• RLベースのエージェントをライブな本番環境（Googleアシスタント）に評価・デプロイし、SOTAの教師ありモデルと厳密に比較することを目的とする。
• 現実世界のオープンエンド対話シナリオにおける最新のRLアルゴリズムの相対的パフォーマンスに関する知見を明らかにすることを目的とする。

提案手法

• 事前学習済みの教師あり言語モデル（RNNおよびトランスフォーマー）を用い、RLの状態表現として会話履歴のコン pact かつ情報豊富な埋め込み表現を生成する。
• 各ターンで、小さな動的生成された候補応答集合に行動空間を制限することで、効率的かつスケーラブルなRL学習を可能にする。
• 確率的で時間的に変化する行動集合を想定した、独自のRLフレームワークを採用し、エージェントがリアルタイムで応答を計画・適応可能にする。
• 保守的Q学習（CQL）、オフポリシー評価、連続的行動最適化といった最先端のRLアルゴリズムを適用し、サンプル効率性と方策安定性を向上させる。
• クラウドソーシングデータからの人間のフィードバック信号（明示的な肯定／否定フィードバックおよび協調的応答指標）を用いて方策を学習する。
• 最終モデルをGoogleアシスタントにデプロイし、特に動物関連体験の分野に適用し、ライブユーザーインタラクションを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 スケールで展開されたオープンエンドで複数ターンにわたる対話システムにおいて、強化学習が動的でリアルタイムの計画を有効に可能にするか？
• RQ2 最先端の言語モデルから学習されたコン pact な状態表現が、RLベースの対話エージェントのパフォーマンスにどのように影響を与えるか？
• RQ3 最新のオフポリシーおよび保守的RLアルゴリズムは、オープンエンド対話において、どの程度サンプル効率性と方策安定性を向上させるか？
• RQ4 各ターンごとに応答候補を生成する動的で進化する行動空間を許容することで、固定された行動集合よりもユーザーの関与度と会話品質が向上するか？
• RQ5 協調的でない応答が増加するといった直感に反する行動が、オープンエンド対話において長期的なユーザー満足度を向上させることがあるか？

主な発見

• RLベースのエージェントは、SOTAの教師ありTransformerベースラインを著しく上回り、ライブユーザー実験において平均会話長が20%増加した。
• 明示的な肯定的フィードバックが32%増加し、否定的フィードバックが18%減少した。これはユーザー満足度の明確な向上を示している。
• SAQL-RNNモデルは、教師ありモデルと比較して、1回の会話あたり26%多くの独自コンテンツ提供者を生成した。これはコンテンツ多様性の向上を示している。
• RLエージェントは、31%の事実ベースのコンテンツを選択し、表面的でないより深い会話に傾倒した。ただし、このような会話は頻度が低かった。
• 協調率が9.5%低下したものの、より良い長期的関与と計画性のおかげで、全体のユーザー体験が向上した。
• 事実ベースの会話において、焦点の入れ替えターンが60%増加した。これは、より豊かなコンテンツ経路における優れた深さ管理能力を示している。