[論文レビュー] Decoupling Strategy and Generation in Negotiation Dialogues

He He, Derek Chen+2 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 30被引用数 11

ひとこと要約

本論文は、粗い会話行動（例：propose(price=50)）を用いて戦略と生成を分離するモジュラーなフレームワークを提案する。これにより、教師あり学習、強化学習、ドメイン知識を用いた制御可能で解釈可能な戦略学習が可能となり、リtrieバルベースの生成により文脈に配慮した多様な応答を維持する。このアプローチは、現実の品物を含むオープンエンドな状況において、エンドツーエンドモデルよりも高いタスク成功度と人間らしさを達成する。

ABSTRACT

We consider negotiation settings in which two agents use natural language to bargain on goods. Agents need to decide on both high-level strategy (e.g., proposing \$50) and the execution of that strategy (e.g., generating "The bike is brand new. Selling for just \$50."). Recent work on negotiation trains neural models, but their end-to-end nature makes it hard to control their strategy, and reinforcement learning tends to lead to degenerate solutions. In this paper, we propose a modular approach based on coarse di- alogue acts (e.g., propose(price=50)) that decouples strategy and generation. We show that we can flexibly set the strategy using supervised learning, reinforcement learning, or domain-specific knowledge without degeneracy, while our retrieval-based generation can maintain context-awareness and produce diverse utterances. We test our approach on the recently proposed DEALORNODEAL game, and we also collect a richer dataset based on real items on Craigslist. Human evaluation shows that our systems achieve higher task success rate and more human-like negotiation behavior than previous approaches.

研究の動機と目的

• 交渉会話におけるエンドツーエンドニューラルモデルの制御性と解釈性の欠如に対処すること。
• 強化学習ベースの会話システムで一般的に見られる退化した行動（例：繰り返しや文法的に不適切な発話）を克服すること。
• 再訓練なしに、教師あり学習、強化学習、ドメイン固有のルールによる柔軟な戦略学習を可能にすること。
• Craigslistの実際の物品に基づいて、オープンエンド交渉を想定した新しい現実的でリアルな交渉データセット（CraigslistBargain）を収集・公開すること。
• 人間による評価を用いて、合成データ（DealOrNoDeal）および現実世界データ（CraigslistBargain）の両方でフレームワークを評価すること。

提案手法

• フレームワークは、発話を粗い会話行動（例：inform, propose, inquire）にマッピングするパーサーを用い、完全な意味的コンテンツを含めない高レベルの戦略的意図を捉える。
• 会話マネージャーは、パースドされた会話履歴を入力として、シーケンス・トゥ・シーケンスモデルを用いて次の粗い会話行動を生成する。このモデルは教師あり学習、強化学習、ドメイン知識の最適化を経て学習される。
• リtrieバルベースのジェネレータは、予測された会話行動と完全な発話履歴を条件として、文脈に配慮した多様な自然言語応答を生成する。
• 本システムは、合成データ（DealOrNoDeal）と現実世界データ（CraigslistBargain）の両方で訓練・評価され、A/Bテストによる人間評価が実施される。
• 会話マネージャーのための異なる学習目的が用いられる：RL_utility（提示を堅持）、RL_length（質問をし、提示を遅らせる）、RL_fairness（中間価格を標的とする）、SL（教師あり）にルールベースの後処理を組み合わせる。
• 粗い会話行動空間により、学習されたポリシーと手動で定義されたルールを組み合わせたハイブリッド制御が可能となり、戦略の解釈可能性と耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 戦略と生成を分離するモジュラーなフレームワークは、エンドツーエンドモデルと比較して、交渉会話における制御性と解釈性を向上させることができるか？
• RQ2 粗い会話行動を戦略の基盤として用いることで、エンドツーエンド強化学習で見られる退化した行動を防げるか？
• RQ3 教師あり学習、強化学習、ドメインルールといった異なる学習目的が、それぞれ異なる望ましい交渉戦略（例：公平性、粘り強さ、柔軟性）を生成できるか？
• RQ4 リtrieバルベースのジェネレータは、粗い会話行動を条件として与えることで、文脈に配慮した多様で人間らしい応答を維持できるか？
• RQ5 人間による評価において、オープンエンドかつ現実世界の交渉状況で、タスク成功度と人間らしさの両面で本システムはどのように性能を発揮するか？

主な発見

• RL_length(act)モデルは、CraigslistBargainで42.4％の発話を質問として生成し、他のモデルと比較して顕著に高い質問使用率を示しており、質問戦略の有効な適用が確認された。
• RL_fairness(act)モデルは、リスト価格と目標価格の中間付近の価格を提示するよう学習し、交渉における戦略的公平性を示した。
• RL_utility(act)モデルは提示を堅持し、妥協を拒否したため、合意率が低く、人間評価で不満が生じた。これは、譲歩しないポリシーのリスクを浮き彫りにした。
• SL(act)+ruleモデルは、妥協のための手動ルールを追加することで、両データセットで高い効用と人間らしさを達成し、純粋なRLまたはSLベースラインを上回った。
• 粗い会話行動で学習されたモデルは、単に教師あり学習を用いても、語彙レベルのモデルと比較してより多様な発話と高いタスク成功度を示した。
• 人間評価により、提案されたモジュラーなシステムが、従来のエンドツーエンドアプローチよりも高いタスク成功度とより人間らしい交渉行動を達成したことが確認された。