[論文レビュー] An Autonomous Negotiating Agent Framework with Reinforcement Learning Based Strategies and Adaptive Strategy Switching Mechanism

Ayan Sengupta, Yasser Mohammad+1 more|arXiv (Cornell University)|Feb 6, 2021

Multi-Agent Systems and Negotiation参考文献 3被引用数 12

ひとこと要約

本論文は、強化学習に基づく戦略と、リアルタイムでの相手行動分類および戦略の適応的切り替えを組み合わせ、単一の交渉において動的に戦略を選択または統合する自律的交渉エージェントフレームワークを提案する。このフレームワークには自己強化を図るレビューメカニズムが含まれており、多様な交渉分野において、最高水準のエージェントを最大488%上回る効用向上を達成している。

ABSTRACT

Despite abundant negotiation strategies in literature, the complexity of automated negotiation forbids a single strategy from being dominant against all others in different negotiation scenarios. To overcome this, one approach is to use mixture of experts, but at the same time, one problem of this method is the selection of experts, as this approach is limited by the competency of the experts selected. Another problem with most negotiation strategies is their incapability of adapting to dynamic variation of the opponent's behaviour within a single negotiation session resulting in poor performance. This work focuses on both, solving the problem of expert selection and adapting to the opponent's behaviour with our Autonomous Negotiating Agent Framework. This framework allows real-time classification of opponent's behaviour and provides a mechanism to select, switch or combine strategies within a single negotiation session. Additionally, our framework has a reviewer component which enables self-enhancement capability by deciding to include new strategies or replace old ones with better strategies periodically. We demonstrate an instance of our framework by implementing maximum entropy reinforcement learning based strategies with a deep learning based opponent classifier. Finally, we evaluate the performance of our agent against state-of-the-art negotiators under varied negotiation scenarios.

研究の動機と目的

• 交渉中の相手行動の変化に適応できない単一の交渉戦略の限界を解消すること。
• 固定された戦略プールから最適なエキスパート戦略を選択する課題を解決すること、特にプールが最適でないか静的である場合に有効であるようにすること。
• 新たな交渉戦略を評価・更新することで、ベース戦略プールを自己強化するメカニズムを備えた自律的改善を可能にすること。
• 最小限の初期ベース戦略セットでのみ、多様な交渉シナリオにおいて強固なパフォーマンスを発揮することを示すこと。
• 自己効用、相手効用、分野別ベンチマークの複数のベンチマーク設定において、最高水準のエージェントと比較して本フレームワークの優位性を検証すること。

提案手法

• ベースナゴシエーター（例：Boulware、ランダム、行動的タイプなど）の入札および受容戦略を学習するために、最大エントロピー強化学習を採用する。
• 深層学習に基づく相手分類器を統合し、各タイムステップで相手の行動を継続的に評価し、ベースナゴシエーターのタイプに確率を割り当てる。
• リアルタイムでの分類確率に基づき、戦略の選択、統合、または遷移を実行する動的戦略切り替えメカニズムを実装する。
• 新規交渉戦略を定期的に評価し、パフォーマンス向上の有無に応じて、既存の戦略を追加または置き換えるかを決定するレビューコンポーネントを統合する。
• 分類の信頼性と期待効用の両方の情報に基づいたハイブリッドアプローチを採用し、進化する相手行動に適応する応答を可能にする。
• 割引効用や予備の効用をゼロとして、効用を割引なしで訓練・評価することで、標準的な交渉条件下でのパフォーマンスに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づく交渉エージェントは、リアルタイムでの相手分類に基づいて、1回の交渉セッション中に複数の戦略を動的に切り替えられるか？
• RQ2 本フレームワークは、最小限の初期ベース戦略セットのみを用いても、最高水準のエージェントと比較して交渉成果をどの程度向上できるか？
• RQ3 レビューメカニズムは、交渉エージェントの長期的パフォーマンス向上にどの程度寄与しているか？
• RQ4 エージェントのパフォーランスは、異なる交渉分野や相手タイプにおいて、特にベンチマークと比較してどのように変動するか？
• RQ5 本フレームワークが、自己効用、相手効用、分野固有のベンチマークにおいて、既存エージェントを上回るパフォーマンス向上をどの程度統計的に有意に達成しているか？

主な発見

• 本エージェントは、ANAC 2015–2017 の 47 個の GENIUS エージェントを対象に自己効用ベンチマークで評価した結果、平均で 37.4% のパフォーマンス向上を達成した。
• 自己効用ベンチマークにおける 47 回の比較のうち 30 回で、差が統計的に有意であった（p < 0.0011）。
• 相手効用ベンチマークでは 47 エージェント中 40 個を上回り、個々の改善率は 1% から 428% まで変動した。
• 18 の分野のうち 13 分野で最高のベンチマークスコアを上回り、全分野で平均ベンチマークを上回った。改善率は 10% から 488% まで変動した。
• 分野ベンチマークにおけるすべての効用差は統計的に有意であった（p < 0.0028）、多様な交渉設定において一貫した優位性が裏付けられた。
• レビューメカニズムはパフォーマンス向上に不可欠であり、段階的戦略更新を可能にするとともに、不要な追加を防ぎ、長期的な適応性と自己改善を支援した。