[論文レビュー] Incentive Decision Processes

Sashank J. Reddi, Emma Brunskill|arXiv (Cornell University)|Oct 16, 2012

Auction Theory and Applications参考文献 10被引用数 3

ひとこと要約

本稿では、隠れた好みを持つ欲張りで自己中心的なエージェントにインセンティブを用いて影響を与えるための枠組みとしてインセンティブ意思決定過程（IDP）を導入する。著者らはIDPを多項式サイズのマルコフ決定過程（MDP）に還元することで、有界最適性を達成し、シミュレーションを通じて、単純な手法よりも著しく優れた性能を発揮するとともに、正確なPOMDP解法よりもはるかに高速に動作することを示している。

ABSTRACT

We consider Incentive Decision Processes, where a principal seeks to reduce its costs due to another agent's behavior, by offering incentives to the agent for alternate behavior. We focus on the case where a principal interacts with a greedy agent whose preferences are hidden and static. Though IDPs can be directly modeled as partially observable Markov decision processes (POMDP), we show that it is possible to directly reduce or approximate the IDP as a polynomially-sized MDP: when this representation is approximate, we prove the resulting policy is boundedly-optimal for the original IDP. Our empirical simulations demonstrate the performance benefit of our algorithms over simpler approaches, and also demonstrate that our approximate representation results in a significantly faster algorithm whose performance is extremely close to the optimal policy for the original IDP.

研究の動機と目的

• 隠れた好みを持つエージェントに影響を与える設定におけるインセンティブメカニズムをモデル化すること。
• エージェントの好みが未知で固定である状況において、費用効果の高いインセンティブを設計する課題に対処すること。
• IDPの最適インセンティブ方策を近似する計算効率の良い手法を開発すること。
• 近似手法が元のIDPに対して有界最適性を保つことを証明すること。

提案手法

• 隠れたエージェントの好みと戦略的行動を捉えるために、IDPを部分的に観測可能なマルコフ決定過程（POMDP）としてモデル化する。
• IDPを多項式サイズのMDPに還元する変換を提案し、完全なPOMDPの指数的複雑性を回避する。
• 信念状態の圧縮とインセンティブに配慮した状態表現を用いて、計算可能性を維持しながら方策の品質を保つ。
• 得られた方策が元のIDPに対して有界最適であることを証明し、近似の忠実度に依存する理論的誤差境界を提示する。
• 標準的なMDP解法（例：価値反復）を縮小されたMDPに適用して、インセンティブ方策を効率的に計算する実装と評価を実施する。
• 実験的シミュレーションを用いて、ベースライン手法との性能と実行時間の比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 完全なPOMDPではなく、取り扱い可能なMDP近似を用いることで、IDPを効果的にモデル化・解釈できるか？
• RQ2 IDPにおける近似MDP表現の理論的性能保証は何か？
• RQ3 提案手法の性能は、単純なインセンティブ戦略と比較して、コストと実行時間の面でどの程度優れているか？
• RQ4 近似は正確なPOMDP解法と比較して、最適性をどの程度保っているか？
• RQ5 より大きな問題に対して、近似手法は近似的最適性能を維持しながらスケーラブルか？

主な発見

• 提案されたIDPのMDP近似は、方策の劣化に関する理論的保証を伴う有界最適性を達成する。
• 実験的結果から、本手法は主なコストを削減する面で単純なインセンティブ戦略を著しく上回ることが示された。
• 正確なPOMDPソルバーよりも著しく高速に実行され、より大きな問題へのスケーラビリティを可能にした。
• シミュレーションによる検証で、近似方策の性能が元のIDPの最適方策に極めて近く、実用的であることが確認された。
• 近似フレームワークの頑健性のおかげで、エージェントの好みが完全に把握されていなくても、本手法は強固な性能を維持した。
• 本手法は、好みが隠れたマルチエージェントシステムにおける実世界のインセンティブ設計において実用的であることが示された。