[논문 리뷰] Behavioral Analytics for Myopic Agents

Yonatan Mintz, Anil Aswani외 3명|arXiv (Cornell University)|2017. 02. 17.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 초기에 알려지지 않은 유틸리티 함수를 가진 이르기적인(agent) 다중 에이전트 시스템에서 비용이 많이 드는 인센티브를 최적화하기 위한 행동 분석 프레임워크를 제안한다. 데이터에서 에이전트 행동 모델을 반복적으로 추정하고, 이를 바탕으로 예산 제약 조건 하에 개인 맞춤형 인센티브를 최적화함으로써, 점점 더 최적에 가까워지는 성능을 달성하며, 시뮬레이션된 체중 감량 프로그램에서 치료 비용을 최대 60% 감소시킨다.

ABSTRACT

Many multi-agent systems have the structure of a single coordinator providing behavioral or financial incentives to a large number of agents. Two challenges faced by the coordinator are a finite budget from which to allocate incentives, and an initial lack of knowledge about the utility function of the agents. Here, we present a behavioral analytics approach to solve the coordinator's problem when agents make decisions by maximizing utility functions that depend on prior system states, inputs, and other parameters that are initially unknown and subject to temporal dynamics. Our behavioral analytics framework involves three steps: first, we develop a behavioral model that describes the decision-making process of an agent; second, we use data to estimate behavioral model parameters for each agent and then use these estimates to predict future decisions of each agent; and third, we use the estimated behavioral model parameters to optimize a set of costly incentives to provide to each agent. In this paper, we describe a specific set of tools, models, and approaches that fit into this framework, and that adapt models and incentives as new information is collected by repeating the second and third steps of this framework. Furthermore, we prove that incentives computed by this adaptive approach are asymptotically optimal with respect to a given loss function that describes the coordinator's objective. We optimize incentives using a decomposition scheme, where each sub-problem solves the coordinator's problem for a single agent, and the master problem is a pure integer program. We conclude with a simulation study to evaluate the effectiveness of our behavioral analytics approach in designing personalized treatment plans for a weight loss program. The results show our approach maintains efficacy of the program while reducing costs by up to 60%, while adaptive heuristics provide less savings.

연구 동기 및 목표

• 초기 유틸리티 함수와 동적 변화하는 동기 상태가 알려지지 않은 대규모 이르기적인 에이전트 집단에 대해 비용 제약 조건 하에 효과적인 인센티브 설계의 과제를 해결한다.
• 에이전트의 동기 상태에 대한 조정자(coordinator)의 지식 부족과 시스템 상태 및 결정에 대한 노이즈가 많은 부분적 관측을 극복한다.
• 새로운 데이터가 제공될 때마다 실시간으로 인센티브를 적응적으로 조정하는 동적이고 데이터 기반의 프레임워크를 개발한다.
• 조정자가 정의한 손실 함수에 대해 인센티브 설계의 점점 더 최적에 가까워지는 성능을 보장한다.
• 실제 응용 분야인 개인 맞춤형 헬스케어 및 수요 반응 프로그램과 같은 환경에서의 실용성과 비용 절감 가능성을 입증한다.

제안 방법

• 이르기적인 유틸리티 최적화자로 행동하는 에이전트를 기술하는 행동 모델을 개발하며, 이들의 결정은 이전 시스템 상태, 입력 및 관측되지 않은 매개변수에 의존한다.
• 노이즈가 많은 부분적 관측 자료인 결정과 시스템 상태로부터 에이전트별 행동 모델의 매개변수를 통계적 추론을 통해 추정한다.
• 추정된 행동 모델을 사용해 향후 에이전트의 결정을 예측하고, 이를 인센티브 설계에 활용한다.
• 비용이 많이 드는 인센티브(예: 행동 목표, 지급금)를 위한 최적화를 수행한다: 분해 기법을 활용하여 하위 문제는 개별 에이전트를 대상으로 하고, 주 문제(master problem)는 순수 정수계획문제이다.
• 새로운 데이터가 수집될 때마다 추정과 최적화 단계를 반복적으로 수행함으로써 인센티브의 적응적 개선을 가능하게 한다.
• 제안된 적응적 프레임워크 하에서 주어진 손실 함수에 대해 계산된 인센티브의 점점 더 최적에 가까워지는 성능을 증명한다.

실험 결과

연구 질문

• RQ1 에이전트의 유틸리티 함수와 동기 상태가 초기에는 알려지지 않은 대규모 이르기적인 에이전트 집단에 대해 조정자가 비용 효율적이고 개인 맞춤형 인센티브를 어떻게 설계할 수 있는가?
• RQ2 실시간 데이터를 사용해 모델과 인센티브를 갱신하는 적응적 인센티브 설계 프레임워크의 이론적 성능 보장을 어떻게 확보할 수 있는가?
• RQ3 실제 응용 분야인 체중 감량 프로그램 등에서 행동 분석 기반 접근이 비용을 얼마나 줄일 수 있으며, 효과성은 유지 또는 향상시킬 수 있는가?
• RQ4 비용 절감과 효능 측면에서, 적응적 행동 분석 접근 방식이 정적 또는 비적응적 히وري스틱 기반 방법과 비교해 성능에서 얼마나 뛰어난가?
• RQ5 동적이고 부분적으로 관측되지 않는 상태를 가진 대규모 에이전트 집단에 대해 제안된 프레임워크의 계산적 타당성은 어느 정도인가?

주요 결과

• 제안된 적응적 행동 분석 프레임워크는 조정자가 정의한 손실 함수에 대해 인센티브 설계에서 점점 더 최적에 가까워지는 성능을 달성한다.
• 체중 감량 프로그램에 대한 시뮬레이션에서, 이 방법은 기준 기반 접근 방식 대비 치료 비용을 최대 60%까지 감소시켰다.
• 적응적 히وري스틱은 제안된 방법에 비해 상당히 낮은 비용 절감 효과를 보였으며, 히وري스틱 대비 모델 기반 최적화의 가치를 입증했다.
• 사후 최대 가능성(MAP) 치료 계획을 계산하는 평균 런타임은 약 12.7초였고, 배낭 기반 인센티브 계산은 1회 반복당 0.2초 미만이었다.
• 분해 기법 덕분에 개별 에이전트 문제를 별도로 해결하고 주 정수계획문제를 통해 조율함으로써 효율적인 최적화가 가능했다.
• 프레임워크는 강력한 확장성과 실용적 타당성을 보였으며, 방문 횟수와 에이전트 수가 증가함에 따라 평균 계산 시간이 관리 가능한 수준을 유지했다.