[論文レビュー] Behavioral Analytics for Myopic Agents

Yonatan Mintz, Anil Aswani+3 more|arXiv (Cornell University)|Feb 17, 2017

Auction Theory and Applications被引用数 4

ひとこと要約

本稿では、初期の効用関数が未知であり、かつ短視眼的である多数のエージェントに対して、高コストなインcentiveを最適化するための行動分析フレームワークを提案する。反復的にデータからエージェントの行動モデルを推定し、そのモデルを用いて予算制約のもとでパーソナライズドインセンティブを最適化することで、漸近的に最適なパフォーマンスを達成し、シミュレートされた減量プログラムでは処置コストを最大60％まで削減した。

ABSTRACT

Many multi-agent systems have the structure of a single coordinator providing behavioral or financial incentives to a large number of agents. Two challenges faced by the coordinator are a finite budget from which to allocate incentives, and an initial lack of knowledge about the utility function of the agents. Here, we present a behavioral analytics approach to solve the coordinator's problem when agents make decisions by maximizing utility functions that depend on prior system states, inputs, and other parameters that are initially unknown and subject to temporal dynamics. Our behavioral analytics framework involves three steps: first, we develop a behavioral model that describes the decision-making process of an agent; second, we use data to estimate behavioral model parameters for each agent and then use these estimates to predict future decisions of each agent; and third, we use the estimated behavioral model parameters to optimize a set of costly incentives to provide to each agent. In this paper, we describe a specific set of tools, models, and approaches that fit into this framework, and that adapt models and incentives as new information is collected by repeating the second and third steps of this framework. Furthermore, we prove that incentives computed by this adaptive approach are asymptotically optimal with respect to a given loss function that describes the coordinator's objective. We optimize incentives using a decomposition scheme, where each sub-problem solves the coordinator's problem for a single agent, and the master problem is a pure integer program. We conclude with a simulation study to evaluate the effectiveness of our behavioral analytics approach in designing personalized treatment plans for a weight loss program. The results show our approach maintains efficacy of the program while reducing costs by up to 60%, while adaptive heuristics provide less savings.

研究の動機と目的

• 大規模な短視眼的エージェント群に対して、効果的で予算制約のあるインセンティブを設計する課題に取り組むこと。
• エージェントの動機付け状態についてのコーディネーターの知識不足、およびシステム状態と意思決定のノイズの多い部分的観測を克服すること。
• 新規データの到着に応じてリアルタイムでインセンティブを適応的に調整する、動的でデータ駆動型のフレームワークを構築すること。
• コーディネーターが定義する損失関数に関して、インセンティブ設計の漸近的最適性を保証すること。
• 実世界の応用例、例えば個別化医療や需要応答プログラムにおいて、実用的適用可能性とコスト削減を実証すること。

提案手法

• エージェントを、過去のシステム状態、入力、および観測不能なパrameterに依存する短視眼的効用最大化者として記述する行動モデルを開発する。
• 意思決定とシステム状態のノイズの多い部分的観測から、エージェント固有の行動モデルパラメータを統計的推論により推定する。
• 推定された行動モデルを用いて、将来のエージェントの意思決定を予測し、インセンティブ設計に活用する。
• 各エージェントに対して高コストなインセンティブ（例：行動目標、報酬）を最適化するため、分解法を用いる：部分問題は個々のエージェントを扱い、マスタープロブレムは純整数計画問題である。
• 新しいデータが得られるたびに推定と最適化のステップを繰り返し、インセンティブの適応的精錬を可能にする。
• 提案された適応的フレームワークのもとで、与えられた損失関数に関して計算されたインセンティブの漸近的最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 エージェントの効用関数や動機付け状態が初期段階で未知である場合、大規模な短視眼的エージェント群に対してコスト効率の良いパーソナライズドインセンティブをコーディネーターがどのように設計できるか。
• RQ2 リアルタイムデータを用いてモデルとインセンティブを更新する適応的インセンティブ設計フレームワークの理論的パフォーマンス保証は何か。
• RQ3 行動分析を用いることで、実世界の応用例（例：減量プログラム）において、効果性を維持または向上させながら、プログラムコストをどの程度削減できるか。
• RQ4 適応的行動分析手法は、静的または非適応的ヒューリスティクスと比較して、コスト削減と有効性の点でどの程度優れているか。
• RQ5 動的かつ部分的に観測不能な状態を持つ多数のエージェントにスケーリングする際、提案フレームワークの計算的実行可能性はどの程度か。

主な発見

• 提案された適応的行動分析フレームワークは、コーディネーターが定義する損失関数に関して、インセンティブ設計の漸近的最適性を達成した。
• 減量プログラムのシミュレーションにおいて、本手法はベースライン手法と比較して処置コストを最大60％まで削減した。
• 適応的ヒューリスティクスは、本手法と比較して著しく低いコスト削減効果を示し、ヒューリスティック代替手法ではなくモデルベース最適化の価値を示した。
• 平均して最大事後確率（MAP）治療計画の計算時間は約12.7秒であり、ナップサックベースのインセンティブ計算は1イテレーションあたり0.2秒未満であった。
• 分解法により、個々のエージェント問題を独立して解き、マスタープログラムで統合することで、効率的な最適化が可能になった。
• フレームワークは強力なスケーラビリティと実用的実行可能性を示し、訪問回数やエージェント数の増加に対しても、平均計算時間は管理可能な範囲に保たれた。