[论文解读] Behavioral Analytics for Myopic Agents

Yonatan Mintz, Anil Aswani+3 more|arXiv (Cornell University)|Feb 17, 2017

Auction Theory and Applications被引用 4

一句话总结

本文提出了一种行为分析框架，用于优化多智能体系统中成本高昂的激励措施，其中智能体具有短视性，且其效用函数初始未知。通过迭代地从数据中估计智能体行为模型，并在预算约束下利用这些模型优化个性化激励，该方法实现了渐近最优性能，并在模拟的减重计划中将治疗成本降低了高达60%。

ABSTRACT

Many multi-agent systems have the structure of a single coordinator providing behavioral or financial incentives to a large number of agents. Two challenges faced by the coordinator are a finite budget from which to allocate incentives, and an initial lack of knowledge about the utility function of the agents. Here, we present a behavioral analytics approach to solve the coordinator's problem when agents make decisions by maximizing utility functions that depend on prior system states, inputs, and other parameters that are initially unknown and subject to temporal dynamics. Our behavioral analytics framework involves three steps: first, we develop a behavioral model that describes the decision-making process of an agent; second, we use data to estimate behavioral model parameters for each agent and then use these estimates to predict future decisions of each agent; and third, we use the estimated behavioral model parameters to optimize a set of costly incentives to provide to each agent. In this paper, we describe a specific set of tools, models, and approaches that fit into this framework, and that adapt models and incentives as new information is collected by repeating the second and third steps of this framework. Furthermore, we prove that incentives computed by this adaptive approach are asymptotically optimal with respect to a given loss function that describes the coordinator's objective. We optimize incentives using a decomposition scheme, where each sub-problem solves the coordinator's problem for a single agent, and the master problem is a pure integer program. We conclude with a simulation study to evaluate the effectiveness of our behavioral analytics approach in designing personalized treatment plans for a weight loss program. The results show our approach maintains efficacy of the program while reducing costs by up to 60%, while adaptive heuristics provide less savings.

研究动机与目标

• 解决为大量短视智能体设计有效、预算受限激励措施的挑战，这些智能体的效用函数和动机状态初始未知。
• 克服协调者对智能体动机状态缺乏了解，以及对系统状态和决策存在噪声和不完整观测的问题。
• 开发一种动态、数据驱动的框架，能够随着新数据的获取实时调整激励措施。
• 确保激励设计相对于协调者定义的损失函数具有渐近最优性。
• 在个性化医疗和需求响应计划等实际应用场景中，证明框架的实用性和成本节约效果。

提出的方法

• 构建一个行为模型，将智能体描述为基于先前系统状态、输入和未观测参数的短视效用最大化者。
• 使用统计推断方法，从决策和系统状态的噪声性、部分观测数据中估计个体智能体的行为模型参数。
• 利用估计的行为模型预测未来智能体的决策，以指导激励设计。
• 使用分解方法优化一组成本高昂的激励措施（例如，行为目标、支付）：子问题针对单个智能体求解，主问题为纯整数规划。
• 随着新数据的持续收集，迭代重复估计与优化步骤，实现激励的自适应优化。
• 在所提出的自适应框架下，证明计算出的激励相对于给定损失函数具有渐近最优性。

实验结果

研究问题

• RQ1 当智能体的效用函数和动机状态初始未知时，协调者如何为大量短视智能体设计成本有效且个性化的激励？
• RQ2 一种利用实时数据更新模型和激励的自适应激励设计框架，其理论性能保证是什么？
• RQ3 在减重计划等实际应用中，行为分析能在多大程度上降低项目成本，同时保持或提升有效性？
• RQ4 与静态或非自适应启发式方法相比，自适应行为分析方法在成本节约和有效性方面的表现如何？
• RQ5 该框架在扩展至具有动态和部分不可观测状态的大规模智能体群体时，计算可行性如何？

主要发现

• 所提出的自适应行为分析框架在相对于协调者损失函数的激励设计方面实现了渐近最优性。
• 在减重计划的模拟中，该方法相比基线方法将治疗成本降低了高达60%。
• 自适应启发式方法提供的成本节约远低于所提方法，凸显了基于模型的优化相较于启发式替代方案的价值。
• 计算最大后验概率（MAP）治疗方案的平均运行时间约为12.7秒，基于背包问题的激励计算每轮耗时不足0.2秒。
• 分解方法通过独立求解个体智能体问题并由主整数规划协调，实现了高效的优化。
• 该框架展现出强大的可扩展性和实际可行性，即使在访问次数和智能体数量增加的情况下，平均计算时间仍保持可控。