[논문 리뷰] Behavior-Based Machine-Learning: A Hybrid Approach for Predicting Human Decision Making

Gali Noti, Effi Levi외 2명|arXiv (Cornell University)|2016. 11. 30.

Decision-Making and Behavioral Economics참고 문헌 2인용 수 11

한 줄 요약

이 논문은 인간의 위험 및 불확실성 하에서의 의사결정을 예측하기 위해 심리학적 행동 특징(예: 확률 이론, 누적 확률 이론)을 지지 벡터 기반 기계학습(SVM) 프레임워크에 통합한 하이브리드 기계학습 접근법을 제시한다. 이 모델은 2015년 선택 예측 경쟁에서 기준 모델 이외의 모든 학습 기반 모델보다 뛰어난 성능을 보이며, 테스트 세트에서 MSD 점수 1.24를 기록했고, 14가지 고전적 선택 편향을 모두 성공적으로 포착했다.

ABSTRACT

A large body of work in behavioral fields attempts to develop models that describe the way people, as opposed to rational agents, make decisions. A recent Choice Prediction Competition (2015) challenged researchers to suggest a model that captures 14 classic choice biases and can predict human decisions under risk and ambiguity. The competition focused on simple decision problems, in which human subjects were asked to repeatedly choose between two gamble options. In this paper we present our approach for predicting human decision behavior: we suggest to use machine learning algorithms with features that are based on well-established behavioral theories. The basic idea is that these psychological features are essential for the representation of the data and are important for the success of the learning process. We implement a vanilla model in which we train SVM models using behavioral features that rely on the psychological properties underlying the competition baseline model. We show that this basic model captures the 14 choice biases and outperforms all the other learning-based models in the competition. The preliminary results suggest that such hybrid models can significantly improve the prediction of human decision making, and are a promising direction for future research.

연구 동기 및 목표

• 다양한 위험 및 불확실성 조건에서 일반화 가능한 인간의 의사결정 예측 모델을 개발하는 것.
• 순수한 통계적 또는 기계학습 모델이 체계적인 인간의 선택 편향을 포착하는 데 한계를 가진다는 문제를 해결하는 것.
• 잘 알려진 행동 이론(예: 확률 이론, SCPT)을 기계학습 특징에 통합하여 예측 성능을 향상시키는 것.
• 심리학적 특징 공학이 인간의 의사결정 예측에서 학습 성능을 향상시키는지 평가하는 것.

제안 방법

• 행동 이론에서 유도된 24차원 특징 벡터를 사용하며, 이는 효과적 확률, 위험 태도, 누적 확률 이론 지표를 포함한다.
• 특징은 100,000개의 무작위로 생성된 문제와 정규화를 위한 90개의 추정 문제를 사용하여 표준화된다.
• 5개의 시험 블록 각각에 대해 3차 다항 커널을 사용한 별도의 SVM 모델을 10겹 교차검증을 통해 훈련한다.
• 예측은 순차적으로 수행된다: 블록 1의 B-비율이 먼저 예측되고, 이후 블록들은 이전 예측 결과를 입력 특징으로 사용한다.
• 예측 후 조정 조치가 적용된다: (a) 문제가 단순한 경우(지배적 선택지가 있는 경우), 예측값은 지배적 선택지 쪽으로 조정된다; (b) 블록 1의 경우, 불확실성이 높을 때는 SCPT 예측값과 혼합된다.
• 모델 평가에는 추정 세트와 테스트 세트에서의 평균 제곱편차(MSD)를 사용하며, 성능은 14개의 행동 이상 테스트와 비교하여 검증된다.

실험 결과

연구 질문

• RQ1 심리학적 행동 특징을 통합한 기계학습 모델이 순수한 통계적 또는 학습 기반 모델보다 인간의 의사결정을 더 잘 예측할 수 있는가?
• RQ2 확률 이론과 누적 확률 이론 특징의 통합이 인간의 선택 편향 전반을 포착하는 데 얼마나 효과적인가?
• RQ3 행동 이론 특징의 통합이 불확실성과 피드백 조건 하에서도 다양한 의사결정 문제 구조에 대해 일반화 능력을 향상시키는가?
• RQ4 문제 구조 기반 조정(예: 단순 지배성, 初기 불확실성)이 예측 정확도를 얼마나 향상시키는가?

주요 결과

• 하이브리드 모델은 14개의 모든 행동 이상 테스트에 통과하여 잘 알려진 인간의 의사결정 편향을 성공적으로 포착함을 확인했다.
• 60개의 새로운 문제로 구성된 테스트 세트에서 모델은 MSD 점수 1.24를 기록했으며, 기준 모델 이외의 모든 학습 기반 모델보다 뛰어난 성능을 보였다.
• 25개의 제출 중 전체 순위 14위를 기록했고, 상위 13개의 모델은 모두 기준 모델의 변형이었으며, 이는 상대적으로 뛰어난 성능임을 시사한다.
• 모델의 성능는 행동 이론을 통합하지 않은 모든 학습 기반 모델보다 뛰어나, 심리학적 특징 공학의 중요성을 강조한다.
• 추정 세트에서의 모델 평균 MSD는 0.74였으며, 기준 모델의 0.71보다 略로 낮아 하이퍼파rameter 조정의 여지가 있음을 시사한다.
• 결과는 행동 이론을 기계학습 특징에 통합함으로써 인간의 의사결정 예측 능력이 크게 향상됨을 지지하는 가설을 뒷받침한다.