[논문 리뷰] Fast Model-Selection through Adapting Design of Experiments Maximizing Information Gain

Stefano Balietti, Brennan Klein외 1명|arXiv (Cornell University)|2018. 07. 10.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 정보 수익을 최대화하기 위해 베이지안 최적 실험 설계를 적응적으로 적용함으로써 계산적으로 효율적인 모델 선택 방법을 제안한다. 인공지능 기반의 검색과 분산 감소 샘플링을 통합함으로써, 빠르고 정확하게 경쟁하는 모델을 구분할 수 있게 되었으며, 인간의 행동을 설명하는 데 가장 잘 맞는 것은 강화 학습 모델임을 입증하였다. 이는 베이지안 내쉬 균형 예측보다 뛰어난 성능을 보였다.

ABSTRACT

To perform model-selection efficiently, we must run informative experiments. Here, we extend a seminal method for designing Bayesian optimal experiments that maximize the information gained from data collected. We introduce two computational improvements that make the procedure tractable: a search algorithm from artificial intelligence and a sampling procedure shrinking the space of possible experiments to evaluate. We collected data for five different experimental designs of a simple imperfect information game and show that experiments optimized for information gain make model-selection possible (and cheaper). We compare the ability of the optimal experimental design to discriminate among competing models against the experimental designs chosen by a wisdom of experts prediction experiment. We find that a simple reinforcement learning model best explains human decision-making and that subject behavior is not adequately described by Bayesian Nash equilibrium. Our procedure is general and can be applied iteratively to lab, field and online experiments.

연구 동기 및 목표

• 실험 연구에서 비효율적이고 고비용인 모델 선택 문제를 해결하기 위해.
• 경쟁하는 모델들을 구분하기 위해 정보 수익을 최대화하는 실험 설계를 위한 확장 가능한 방법을 개발하기 위해.
• 정확도를 유지하면서 베이지안 최적 실험 설계의 계산 부담을 줄이기 위해.
• 정보 최대화 설계가 전문가가 선택한 실험 설정과 비교하여 효과적인지 평가하기 위해.
• 이 방법이 실험실, 현장, 온라인 실험 등 다양한 실험 설정에 일반화될 수 있는지 보여주기 위해.

제안 방법

• 경쟁 모델 간 구분을 위해 정보 수익을 최대화하는 데 초점을 맞춘 베이지안 최적 실험 설계를 적응적으로 적용한다.
• 가능한 실험의 공간을 효율적으로 탐색하기 위해 인공지능 기반의 검색 알고리즘을 도입한다.
• 후보 실험 수를 줄이기 위해 분산 감소 샘플링 절차를 활용한다.
• 간단한 완전 정보가 아닌 게임에서 다섯 가지 실험 설계에 이 방법을 적용한다.
• 실험 선택을 안내하기 위해 정보 수익을 목적 함수로 사용한다.
• 순차적 실험 설정에서 모델 선택을 향상시키기 위해 절차를 반복적으로 적용한다.

실험 결과

연구 질문

• RQ1 정보 수익 최대화 설계가 모델 구분에서 전문가가 설계한 실험보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 간단한 완전 정보가 아닌 게임에서 인간의 의사결정을 가장 잘 설명하는 인지 모델은 무엇인가?
• RQ3 베이지안 최적 실험 설계를 실생활 적용에 적합하게 계산적으로 실행 가능하게 만들 수 있는가?
• RQ4 강화 학습 모델이 베이지안 내쉬 균형에 비해 인간 행동을 어느 정도 잘 설명하는가?
• RQ5 제안된 방법은 실험실, 현장, 온라인 실험 등 다양한 실험 설정에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 실험 설계에서 정보 수익에 초점을 맞춤으로써 빠르고 정확한 모델 선택을 가능하게 하였다.
• 간단한 강화 학습 모델이 게임에서 인간의 의사결정을 가장 잘 설명하였으며, 베이지안 내쉬 균형을 능가하였다.
• 정보 수익 최적화된 실험은 전문가가 설계한 실험에서 실패한 경쟁 모델 간의 구분에 성공하였다.
• 계산 성능 향상 덕분에 베이지안 최적 실험 설계가 실생활 행동 실험에 적용 가능한 수준이 되었다.
• 이 방법은 실험실, 현장, 온라인 실험 설정 전반에 걸쳐 일반화 가능성을 입증하였다.
• 정보 수익 기반 설계는 진정한 기저 모델을 특정하는 데 전문가 예측 설계보다 더 효과적이었다.