[論文レビュー] Reasoning about Hypothetical Agent Behaviours and their Parameters

Stefano V. Albrecht, Peter Stone|arXiv (Cornell University)|Jun 26, 2019

Data Stream Mining Techniques参考文献 37被引用数 9

ひとこと要約

本論文は、各観測後に選択的にパラメータを更新することにより、異なるエージェントタイプの可能性と、それらのタイプ内の有界連続パラメータの値についてエージェントが推論できる手法を提案する。このアプローチは、マルチエージェントタスクにおいて顕著な性能向上を達成しており、フォーーリング環境で実証されている。1ステップあたり1つのパラメータ推定値のみを更新する一方で、ランダムなパラメータ推定値を上回る性能を発揮している。

ABSTRACT

Agents can achieve effective interaction with previously unknown other agents by maintaining beliefs over a set of hypothetical behaviours, or types, that these agents may have. A current limitation in this method is that it does not recognise parameters within type specifications, because types are viewed as blackbox mappings from interaction histories to probability distributions over actions. In this work, we propose a general method which allows an agent to reason about both the relative likelihood of types and the values of any bounded continuous parameters within types. The method maintains individual parameter estimates for each type and selectively updates the estimates for some types after each observation. We propose different methods for the selection of types and the estimation of parameter values. The proposed methods are evaluated in detailed experiments, showing that updating the parameter estimates of a single type after each observation can be sufficient to achieve good performance.

研究の動機と目的

• タイプベースのエージェントモデリングにおける制限、すなわちタイプ内に存在する連続的パラメータが認識されない、あるいは学習されないという点を解決すること。
• エージェントが各タイプに対して個別のパラメータ推定値を維持・更新できるようにし、行動予測の正確性を向上させること。
• 各観測後にパラメータ推定値のサブセットのみを更新することで、計算コストを最小限に抑えること。
• ドメイン固有の尤度推定器を必要とせず、任意の有界連続パラメータに適用可能な一般化された手法を提供すること。
• 特にアドホックチームワークのシナリオにおいて、実世界のマルチエージェント環境でのこの手法の有効性を評価すること。

提案手法

• この手法は、有限個のエージェントタイプの集合に関する信念を維持し、各タイプは有界連続パラメータのベクトルに関連付けられる。
• 各観測後、信念重みや将来の意思決定への期待される影響などの基準に基づき、タイプのサブセットのパラメータ推定値を選択的に更新する。
• ベイズ更新や最尤推定などの技術を用いてパラメータ推定を行い、ブラックボックス型関数に適応した形で適用する。
• タイプ信念の更新とは別にパラメータ学習を扱うことで、任意のタイプ定義と柔軟に統合可能である。
• 動的ベイズネットワークにインspiredした選択的推論戦略を採用しているが、エージェントタイプ選択およびパラメータ推定に適応させている。
• 点推定値とパラメータの信念分布の両方をサポートしており、不確実性に対するロバストネスを実現している。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、高い計算コストを伴わずに、仮説的エージェントタイプ内の連続的パラメータを効率的に学習できるか？
• RQ2 新しい観測が得られた際に、どのタイプのパラメータを更新すべきかを判断する基準は何か？
• RQ3 選択的パラメータ更新は、タイプ信念分布の収束性と正確性にどのように影響するか？
• RQ4 1ステップあたり1つのパラメータ更新で十分に高いパフォーマンスを達成できるか？
• RQ5 パラメータ推定値は、エージェントタイプに関する信念の進化にどのように関与し、影響を与えるか？

主な発見

• レベルベースのフォーリングドメインにおいて、ランダムなパラメータ推定値と比較して、タスク完了率に顕著な向上が見られた。
• 1ステップあたり1つのパラメータ推定値の更新で十分に高いパフォーマンスが達成されたことから、計算効率が裏付けられた。
• 同じタイプを異なるパラメータ値で複数インスタンス化する必要がなくなるため、空間的・計算的冗長性が著しく低減された。
• 絶対連続性の違反により信念のマージが発生しなかったが、実際には信頼性の高い収束が達成された。
• パラメータ推定技術は一般性を有しており、ドメイン固有の尤度関数を必要とせず、任意の有界連続パラメータに適用可能であった。
• 実験から、パラメータ推定値がタイプに関する信念の進化に顕著に影響を与えることが示され、正確なモデリングにおける重要性が強調された。