[論文レビュー] Robust Multi-agent Counterfactual Prediction

Alexander Peysakhovich, Christian Kroer+1 more|arXiv (Cornell University)|Jan 1, 2019

Auction Theory and Applications被引用数 4

ひとこと要約

本稿では、エージェントの非公開情報や利得関数に関する不確実性がある状況において、マルチエージェントシステムにおける反事後予測の境界を計算する手法であるロバスト・マルチエージェント反事後予測（RMAC）を提案する。合理的性やモデル仮定の違反に対する感度を分析することで、均衡や利得関数の回復を必要とせず、一次の境界を提供する。この手法はオークション、学校選択、社会選択の設定で検証された。

ABSTRACT

We consider the problem of using logged data to make predictions about what would happen if we changed the `rules of the game' in a multi-agent system. This task is difficult because in many cases we observe actions individuals take but not their private information or their full reward functions. In addition, agents are strategic, so when the rules change, they will also change their actions. Existing methods (e.g. structural estimation, inverse reinforcement learning) assume that agents' behavior comes from optimizing some utility or that the system is in equilibrium. They make counterfactual predictions by using observed actions to learn the underlying utility function (a.k.a. type) and then solving for the equilibrium of the counterfactual environment. This approach imposes heavy assumptions such as the rationality of the agents being observed and a correct model of the environment and agents' utility functions. We propose a method for analyzing the sensitivity of counterfactual conclusions to violations of these assumptions, which we call robust multi-agent counterfactual prediction (RMAC). We provide a first-order method for computing RMAC bounds. We apply RMAC to classic environments in market design: auctions, school choice, and social choice.

研究の動機と目的

• エージェントの非公開情報や利得関数が観測不能な状況において、マルチエージェントシステムで信頼性の高い反事後予測を行う課題に対処すること。
• 構造的推定や逆強化学習で用いられる従来の手法が強い仮定（エージェントの合理的性やモデルの正しく指定されていること）を課す問題を克服すること。
• これらの仮定の違反に対する反事後予測の感度を定量化するフレームワークを開発すること。
• 均衡やエージェントのタイプの完全な知識を必要としない、実用的で一次の方法により反事後結果のロバストな境界を計算すること。

提案手法

• 仮定されたエージェントの合理的性やモデルの正確性からの逸脱を考慮して、反事後結果の境界を計算するロバスト最適化フレームワークを提案する。
• 効率的な境界計算を可能にするために一次近似を用いることで、複雑な環境へのスケーラビリティを実現する。
• 合理的性やモデル構造の妥当性の違反が反事後予測に与える影響を評価する感度分析メカニズムを導入する。
• エージェントの行動が戦略的であり、観測された行動が完全な非公開情報や報酬関数を明らかにしない環境にこの手法を適用する。
• エージェントのタイプや利得関数における不確実性下で、反事後結果の最悪の逸脱を特徴付けるために双対定式化を用いる。
• 均衡仮定が頻繁に破れる標準的なマーケット設計問題（オークション、学校選択、社会選択）において、このアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 エージェントの非公開情報や利得関数が観測不能な状況で、マルチエージェントシステムにおける反事後予測をどのように行うことができるか？
• RQ2 エージェントの合理的性の仮定が違反された場合、反事後予測の信頼性にどのような影響を与えるか？
• RQ3 マルチエージェント環境におけるモデル誤指定に対する反事後結果の感度をどのように定量化できるか？
• RQ4 均衡やエージェントのタイプの完全な知識を仮定せずに、反事後予測のロバストな境界を計算できるか？

主な発見

• RMACは、エージェントの合理的性やモデル仮定の違反に対してロバストな反事後結果の境界を計算可能にしている。
• RMAC境界を計算する一次の手法はスケーラブルであり、オークションや学校選択といった現実のマーケット設計問題に適用可能である。
• 感度分析により、エージェントが完全に合理的でない場合やモデルが誤って指定されている場合、標準的な反事後予測手法が誤った予測を生じることが明らかになった。
• テストされた全環境（オークション、学校選択、社会選択）において、RMACは単純な反事後予測とロバスト境界との間に顕著な差異を特定し、モデルリスクを浮き彫りにした。
• エージェントのタイプや利得関数における不確実性を無視すると、過信かつ誤った反事後結論に至る可能性があることが示された。
• RMACが計算する境界は、単純な最悪ケース境界よりもきついものであり、政策立案やメカニズム設計における実用的有用性が向上していることが示された。