[논문 리뷰] Data-driven dynamic decision models

John J. Nay, Jonathan M. Gilligan|arXiv (Cornell University)|2015. 12. 06.

Opinion Dynamics and Social Influence참고 문헌 38인용 수 1

한 줄 요약

이 논문은 유전적 알고리즘과 효율적인 모델 표현을 활용한 데이터 기반 방법을 제안하여 동적 의사결정의 해석 가능하고 예측 가능한 모델을 자동으로 생성한다. 이 방법은 시뮬레이션된 데이터로부터 알려진 의사결정 규칙을 성공적으로 복원하고, 인간 및 국제관계 게임 데이터를 정확하게 모델링하여 대규모 데이터셋에서 뛰어난 확장성과 해석 가능성 을 입증한다.

ABSTRACT

This article outlines a method for automatically generating models of dynamic decision-making that both have strong predictive power and are interpretable in human terms. This is useful for designing empirically grounded agent-based simulations and for gaining direct insight into observed dynamic processes. We use an efficient model representation and a genetic algorithm-based estimation process to generate simple approximations that explain most of the structure of complex stochastic processes. This method, implemented in C++ and R, scales well to large data sets. We apply our methods to empirical data from human subjects game experiments and international relations. We also demonstrate the method's ability to recover known data-generating processes by simulating data with agent-based models and correctly deriving the underlying decision models for multiple agent models and degrees of stochasticity.

연구 동기 및 목표

• 높은 예측 능력과 인간이 이해할 수 있는 해석 가능성을 갖춘 동적 의사결정 모델을 자동으로 생성하는 방법을 개발한다.
• 데이터 기반 접근법을 사용하여 복잡한 확률적 과정을 동적 환경에서 모델링하는 도전 과제를 해결한다.
• 모델의 단순성과 해석 가능성을 유지하면서도 대규모 데이터셋으로의 효율적인 모델 생성을 가능하게 한다.
• 실제 인간 게임 실험과 국제관계 맥락의 실증 데이터에 대해 방법을 검증한다.
• 다양한 수준의 확률적 요건을 가진 에이전트 기반 모델에서 생성된 시뮬레이션 데이터로부터 알려진 의사결정 규칙을 복원할 수 있음을 보여준다.

제안 방법

• 복잡하고 확률적인 환경에서 최적의 의사결정 모델 파라미터를 탐색하기 위해 유전적 알고리즘 기반 추정 절차를 사용한다.
• 예측 정확도를 유지하면서도 의사결정 규칙을 단순화하는 효율적인 모델 표현 방식을 적용한다.
• 실제 실증 데이터(인간 피실험자 및 국제관계 데이터)와 에이전트 기반 시뮬레이션에서 생성된 합성 데이터 양쪽에 방법을 적용한다.
• C++ 및 R을 사용한 구현을 통해 계산 효율성을 확보하여 대규모 데이터셋으로의 확장이 효과적으로 이루어지도록 한다.
• 관측된 데이터에 대한 적합도와 해석 가능성 사이의 균형을 통해 모델의 단순성과 예측 능력을 최적화한다.
• 합성 데이터를 생성할 때 알려진 의사결정 규칙을 사용하고, 방법이 이 규칙을 재확인할 수 있는지 테스트하여 모델 복원을 검증한다.

실험 결과

연구 질문

• RQ1 데이터 기반 방법이 동적 의사결정의 해석 가능하고 예측 가능한 모델을 자동으로 생성할 수 있는가?
• RQ2 이 방법은 인간 게임 실험과 국제관계에서의 실제 실증 데이터에 대해 얼마나 잘 성능을 발휘하는가?
• RQ3 에이전트 기반 모델에서 생성된 합성 데이터로부터 알려진 의사결정 규칙을 어느 정도 복원할 수 있는가?
• RQ4 대규모 데이터셋으로의 확장에서 모델의 해석 가능성과 예측 정확도를 유지하면서 어떻게 작동하는가?
• RQ5 데이터의 확률적 요건이 증가할수록 방법이 기저의 의사결정 과정을 복원하는 데 영향을 받는 정도는 어떠한가?

주요 결과

• 이 방법은 실제 데이터와 합성 데이터 양쪽에서 강력한 예측 능력을 갖춘 동적 의사결정 모델을 성공적으로 생성한다.
• 높은 수준의 확률적 요건이 존재하는 상황에서도 시뮬레이션된 데이터로부터 알려진 의사결정 규칙을 정확히 복원한다.
• 복잡한 실제 동적 과정에 적용 가능한 대규모 데이터셋으로의 효과적인 확장이 가능하다.
• 결과적으로 도출된 모델은 인간의 언어로도 해석 가능하여 관찰된 의사결정 행동 양태에 대한 직접적인 통찰을 제공한다.
• 모델의 단순성과 높은 예측 정확도 사이의 균형을 잘 조율함으로써 단순한 접근법보다 뛰어난 성능을 보인다.
• 인간 피실험자 및 국제관계 데이터에 대한 실증 검증을 통해 방법의 강건성과 실용적 유용성을 확인한다.