[論文レビュー] Robust Learning Equilibrium

Itai Ashlagi, Dov Monderer+1 more|arXiv (Cornell University)|Jun 27, 2012

Auction Theory and Applications参考文献 15被引用数 10

ひとこと要約

本稿は、学習アルゴリズムが戦略的逸脱だけでなく、監視装置の故障のような非戦略的障害に対しても均衡状態にあるマルチエージェントシステムにおけるロバスト学習均衡という枠組みを導入する。弱い監視環境下での繰り返しダブルオークションにおいて、このような均衡の存在を証明し、エージェントが不完全または汚染された情報を受け取る場合でも安定性を保証する。

ABSTRACT

We introduce robust learning equilibrium. The idea of learning equilibrium is that learning algorithms in multi-agent systems should themselves be in equilibrium rather than only lead to equilibrium. That is, learning equilibrium is immune to strategic deviations: Every agent is better off using its prescribed learning algorithm, if all other agents follow their algorithms, regardless of the unknown state of the environment. However, a learning equilibrium may not be immune to non strategic mistakes. For example, if for a certain period of time there is a failure in the monitoring devices (e.g., the correct input does not reach the agents), then it may not be in equilibrium to follow the algorithm after the devices are corrected. A robust learning equilibrium is immune also to such non-strategic mistakes. The existence of (robust) learning equilibrium is especially challenging when the monitoring devices are 'weak'. That is, the information available to each agent at each stage is limited. We initiate a study of robust learning equilibrium with general monitoring structure and apply it to the context of auctions. We prove the existence of robust learning equilibrium in repeated first-price auctions, and discuss its properties.

研究の動機と目的

• 監視障害などの非戦略的干渉に直面する際の学習均衡の不安定性に対処すること。
• 学習均衡の概念を、戦略的逸脱と非戦略的誤差の両方に対して耐性を持つように拡張すること。
• 一般的な監視構造、特にエージェントが限られた情報しか得られない弱い監視においてロバスト学習均衡を研究すること。
• メカニズム設計の定番的設定である繰り返し最初入札オークションにこの枠組みを適用すること。
• 情報制限があるにもかかわらず、このようなオークション環境におけるロバスト学習均衡の存在を確立すること。

提案手法

• 各エージェントの学習アルゴリズムが、他のエージェントがそのアルゴリズムに従うものと仮定した上で、非戦略的障害後も最適であるような戦略プロファイルとして、ロバスト学習均衡の形式的定義を提示する。
• 繰り返しの相互作用と限られた監視を伴うゲーム理論的モデルを導入し、エージェントが環境に関する部分的または汚染された信号を受信するようにする。
• ゲーム理論の均衡概念、特にナッシュ均衡を用いるが、純粋戦略ではなく学習アルゴリズムに適用する。
• 入札者の学習ルールを戦略としてモデル化することで、最初入札オークションにこの枠組みを適用し、戦略的および非戦略的逸脱の両方に対して最適であるようにする。
• 弱い監視下での存在を示すために、情報構造とインcentive compatibility の構造的分析を用いる。
• 完全でない情報に適応できるキャリブレート学習やレグレット最小化アルゴリズムを用いて、ロバスト学習均衡を構築できることを示す。

実験結果

リサーチクエスチョン

• RQ1 監視障害のような一時的な非戦略的干渉に対して、学習均衡を耐性可能にできるか？
• RQ2 弱い監視環境下で、ロバスト学習均衡が存在する条件は何か？
• RQ3 繰り返しオークションにおいて、ロバスト学習均衡をどのように構築し、維持できるか？
• RQ4 不完全情報下の最初入札オークションにおいて、ロバスト学習均衡が示す性質は何か？
• RQ5 一時的な情報喪失や汚染が生じても、最適なままである学習アルゴリズムを設計することは可能か？

主な発見

• 弱い監視構造下において、繰り返し最初入札オークションにロバスト学習均衡が存在する。
• 本フレームワークにより、監視障害のような非戦略的障害後も、エージェントが学習アルゴリズムから逸脱するインcentiveを持たないことが保証される。
• ロバスト学習均衡の存在は、情報構造とインcentive compatibility の構造的分析を通じて確立された。
• 本稿で提示された均衡概念は、非戦略的誤差への耐性を組み込んだことで、標準的な学習均衡を拡張したものである。
• 結果として、エージェントが時間とともに限られた情報や汚染された情報を受信しても、安定的かつ自己強制的な学習行動を達成できることを示した。
• 監視障害が一般的な現実世界のシステムにおいて、信頼性の高い学習メカニズムを設計する基盤を提供する。