[論文レビュー] E-HBA: Using Action Policies for Expert Advice and Agent Typification

Stefano V. Albrecht, Jacob W. Crandall+1 more|arXiv (Cornell University)|Jul 23, 2019

Multi-Agent Systems and Negotiation被引用数 5

ひとこと要約

本稿では、相手行動のタイプベースモデリングから得られる将来の報酬予測と、過去の報酬実績を統合することで、専門家アルゴリズムの性能を向上させるメタアルゴリズムE-HBAを提案する。自信重み付きブレンドを用いて、観測された報酬と予測された報酬を段階的に混合することで、真のまたは類似した相手タイプが利用可能な場合には顕著な性能向上を達成するが、それ以外の場合はベースライン性能を維持する。

ABSTRACT

Past research has studied two approaches to utilise predefined policy sets in repeated interactions: as experts, to dictate our own actions, and as types, to characterise the behaviour of other agents. In this work, we bring these complementary views together in the form of a novel meta-algorithm, called Expert-HBA (E-HBA), which can be applied to any expert algorithm that considers the average (or total) payoff an expert has yielded in the past. E-HBA gradually mixes the past payoff with a predicted future payoff, which is computed using the type-based characterisation. We present results from a comprehensive set of repeated matrix games, comparing the performance of several well-known expert algorithms with and without the aid of E-HBA. Our results show that E-HBA has the potential to significantly improve the performance of expert algorithms.

研究の動機と目的

• 専門家アルゴリズムが過去の実績にのみ依存するという限界に対処すること。これは、適応的相手に対して失敗する可能性がある。
• HBAのようなタイプベース手法の欠点、すなわち真の相手タイプが事前に定義されたセットに含まれない場合に失敗することを克服すること。
• 歴史的実績と予測モデリングの両方を活用するメタアルゴリズムを設計することで、専門家的手法とタイプベース手法を統合すること。
• タイプベース予測の信頼性に基づいて動的に専門家選択を調整することにより、繰り返し行列ゲームにおける意思決定を改善すること。

提案手法

• E-HBAは、過去の相互作用における各専門家の平均報酬と、相手行動のタイプベースモデルから導かれる将来の報酬予測を組み合わせる。
• 予測された将来の報酬は、HBAに基づく計画手順を用いて計算され、セット内の各タイプに対する最適応答行動を推定する。
• 自信スコア $ C^t $ が過去と予測された報酬のブレンドを制御し、モデルがタイプ予測に対してより確信を持つようになるにつれて増加する。
• 自信は、タイプセット全体における観測行動と予測行動の整合性に基づいて計算され、段階的な適応を可能にする。
• E-HBAは、Hedge、Exp3、UCBなど、平均または総報酬集約を用いる任意の専門家アルゴリズムにメタアルゴリズムとして適用可能である。
• 専門家アルゴリズムが将来の相互作用で良好に機能すると予測される専門家にシフトできるようにすることで、反応的および能動的戦略を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 過去の実績と将来の予測を組み合わせることで、繰り返し相互作用における専門家アルゴリズムの性能が向上するか？
• RQ2 真の相手タイプがタイプセットに含まれる場合と含まれない場合に、E-HBAの性能はどのように異なるか？
• RQ3 自信推定が、過去と予測報酬のブレンドに与える影響は何か？
• RQ4 元の専門家アルゴリズムがすでに強力な場合、E-HBAは性能を維持するか、それとも弱い場合にのみ向上するか？
• RQ5 E-HBAは、混合および対立ゲームにおいて、純粋な専門家アルゴリズムとHBAのような純粋なタイプベース手法を上回るか？

主な発見

• 真のタイプまたは類似したタイプがタイプセットに含まれていた場合、E-HBAは専門家アルゴリズムの性能を顕著に向上させ、最良の専門家を上回るか下回るかの分岐点を生じさせた。
• 真のタイプがセットに含まれない場合、E-HBAは元の専門家アルゴリズムと同等の性能を示し、劣化を回避。HBAはしばしばランダムプレイに陥るのに対し、E-HBAは優れた性能を維持した。
• E-HBAは、予測的インサイトに基づいて専門家間の切り替えをより効果的に可能にし、常に1つの専門家に依存する場合よりも高い平均報酬を達成した。
• 性能向上の代償として、計画深さ $ h=5 $ を使用した場合、修正されたアルゴリズムは元のアルゴリズムに比べて計算時間が約10倍に増加した。
• Hedge や Exp3 のような場合、E-HBAは性能が悪化した可能性が高く、これは総報酬に依存する性質によるものと考えられる。
• 真のタイプが存在しない場合でも、E-HBAはセット内の類似タイプ（特にCDTやCNNタイプ）から恩恵を受けることができた。これは、タイプカバレッジが不完全であっても、E-HBAのロバストネスを示している。