[論文レビュー] Collaborative AI Teaming in Unknown Environments via Active Goal Deduction

Zuyuan Zhang, Hanhan Zhou+3 more|arXiv (Cornell University)|Mar 22, 2024

Human-Automation Interaction and Safety被引用数 5

ひとこと要約

STUNは知られていないエージェントの潜在報酬を推定するカーネル密度ベイズ逆推定学習（KD-BIL）を提案し、未知環境での未知条件下目標のシナジー型チーミングのためのゴール条件付きポリシーのゼロショット適応を可能にする。

ABSTRACT

With the advancements of artificial intelligence (AI), we're seeing more scenarios that require AI to work closely with other agents, whose goals and strategies might not be known beforehand. However, existing approaches for training collaborative agents often require defined and known reward signals and cannot address the problem of teaming with unknown agents that often have latent objectives/rewards. In response to this challenge, we propose teaming with unknown agents framework, which leverages kernel density Bayesian inverse learning method for active goal deduction and utilizes pre-trained, goal-conditioned policies to enable zero-shot policy adaptation. We prove that unbiased reward estimates in our framework are sufficient for optimal teaming with unknown agents. We further evaluate the framework of redesigned multi-agent particle and StarCraft II micromanagement environments with diverse unknown agents of different behaviors/rewards. Empirical results demonstrate that our framework significantly advances the teaming performance of AI and unknown agents in a wide range of collaborative scenarios.

研究の動機と目的

• 未知の報酬や潜在的目的を持つ未知エージェントとの協働を促進するためのシナジー型チーミングの必要性を動機付ける。
• 観測軌跡から潜在報酬を推定するサンプル効率の高い能動目標推定手法を開発する。
• 未知のエージェントと連携する際のゼロショット適応をサポートするために代理モデル上でゴール条件付きポリシーを事前訓練する。
• 偏りのない報酬推定が最適なポリシー学習に十分であることを証明し、カスタマイズされたマルチエージェント環境でのチーミング性能の向上を示す。

提案手法

• 未知のエージェント（潜在報酬）と協調エージェント（STUN）を含む dec-POMDP フレームワークを導入する。
• Kernel Density Bayesian Inverse Learning (KD-BIL) を提案し、カーネル密度推定を用いて観測軌跡から潜在報酬の事後分布を得る。
• 報酬の最大事後確率（MAP）推定が最適性に十分でないことを示し、偏りのない報酬推定がベルマン収束を保証することを証明する。
• 代理モデルを用いてランダムにサンプリングした報酬でゴール条件付きポリシー pi(a|o,R) を事前訓練し、偏りのない報酬推定を介してゼロショット適応を可能にする。
• 偏りのない報酬推定を条件にしてゼロショット適応ルール pi(a|o,âR) を開発し、再訓練なしでほぼ最適なチーミングを達成する。
• 再設計された MPE/SMAC 環境における集中した事前訓練と分散実行でスケーラビリティを示す。

Figure 1: We consider the problem of enabling synergistic teaming of AI agents with other unknown agents (e.g., human or autonomous agents that could have latent rewards/objectives) in collaborative task environments.

実験結果

リサーチクエスチョン

• RQ1 潜在報酬を持つ未知エージェントとリアルタイムに推論して協働することは可能か。
• RQ2 KD-BIL は限られた観測から潜在報酬を推定する際に効率的で正確な方法か。
• RQ3 偏りのない報酬推定を用いたゼロショット適応は最適解またはほぼ最適なチーミング性能を保証するか。
• RQ4 STUN エージェントは異なる環境（MPE/SMAC）で多様な未知エージェントと組んだ場合、ベースラインと比較してどう性能か。

主な発見

• KD-BIL は潜在報酬のサンプル効率の高い事後分布を提供し、時変する目的にも対応する。
• 偏りのない報酬推定はベルマン収束と最適な Q-値のために必要かつ十分である。
• 事前訓練されたゴール条件付きポリシーのゼロショット適応は再訓練なしで多様な未知エージェントとのチーミングをほぼ最適にもたらす。
• STUN エージェントはベースラインを上回り、再設計された MPE および SMAC タスクで近似的に最適なチーミングを達成し、難易度の高い地図や潜在報酬が異なるエージェントを含むケースも含む。
• STUN は未知エージェントの変化へ迅速に適応し、難易度の高い地図でのパフォーマンスは場合によって最大で50%の改善を示す。

Figure 2: An illustration of our proposed framework. STUN agents $\pi_{i}(\cdot|R)$ are pre-trained using surrogate agent models with sampled latent rewards $R$ . To collaborate with unknown agents, they use inverse learning (step b) on the observed trajectories $\{\tau^{u}_{i}\}$ of the unknown age