[논문 리뷰] Practical optimal experiment design with probabilistic programs

Long Ouyang, Michael Tessler외 2명|arXiv (Cornell University)|2016. 08. 17.

Evolutionary Algorithms and Applications참고 문헌 7인용 수 10

한 줄 요약

이 논문은 확률적 프로그래밍 언어(PPL)를 사용하여 최적의 실험 설계(OED)를 위한 실용적인 프레임워크를 제시한다. 이는 과학자들이 기대 정보 수익을 최대화하는 실험을 자동으로 식별할 수 있도록 한다. 모델과 실험 공간을 PPL에 표현함으로써, 수동적인 검색이나 맞춤형 추론 코드 없이 최적의 실험을 계산할 수 있으며, 인지심리학 분야의 사례 연구에서 OED가 수동으로 설계된 실험보다 최대 5배 더 정보량이 많고 참가자 비용이 훨씬 낮은 실험을 도출할 수 있음을 입증한다.

ABSTRACT

Scientists often run experiments to distinguish competing theories. This requires patience, rigor, and ingenuity - there is often a large space of possible experiments one could run. But we need not comb this space by hand - if we represent our theories as formal models and explicitly declare the space of experiments, we can automate the search for good experiments, looking for those with high expected information gain. Here, we present a general and principled approach to experiment design based on probabilistic programming languages (PPLs). PPLs offer a clean separation between declaring problems and solving them, which means that the scientist can automate experiment design by simply declaring her model and experiment spaces in the PPL without having to worry about the details of calculating information gain. We demonstrate our system in two case studies drawn from cognitive psychology, where we use it to design optimal experiments in the domains of sequence prediction and categorization. We find strong empirical validation that our automatically designed experiments were indeed optimal. We conclude by discussing a number of interesting questions for future research.

연구 동기 및 목표

• 경쟁하는 과학적 모형에 대한 믿음의 갱신을 최대화하는 실험을 자동으로 탐색하는 것.
• 기존 OED 시스템에서 요구하는 맞춤형 유틸리티 함수와 추론 알고리즘으로 인한 높은 진입 장벽을 극복하는 것.
• 기대 정보 수익이 실제 실험 환경에서의 정보 수익을 신뢰성 있게 예측할 수 있는지 입증하는 것.
• 특히 노이즈가 많은 인간 인지 연구에서 실험 비용을 줄이면서도 정보량을 증가시킬 수 있음을 보여주는 것.
• 과학적 직관을 대체하기보다는 보완하는 일반적이고 확장 가능하며 사용자 友好的인 OED 시스템을 제공하는 것.

제안 방법

• 과학적 이론과 실험 공간을 PPL 내의 확률적 프로그램으로 표현하여, 저수준의 구현 세부사항 없이도 선언적으로 기술할 수 있도록 하는 것.
• PPL의 추론 엔진을 활용해 모든 가능한 실험에 대해 기대 정보 수익을 계산하고, 자동으로 최적의 실험을 식별하는 것.
• OED 문제를 모델 사후분포에 대한 추론으로 공식화하며, 우선분포와 사후분포 간의 기대 쿨백-라이블러 발산을 최대화하는 것이 목표임.
• PPL이 임의의 연결 함수를 지원함을 활용하여, 모델 출력에서 관측 가능한 실험 반응으로의 매핑을 모델링하는 것.
• 실제 인지심리학 문제에 프레임워크를 적용하여, 시퀀스 예측과 범주 학습을 포함한 사례 연구를 수행하고, 경험적으로 검증된 모델 비교를 수행하는 것.
• 인간 참가자와의 통제된 실험을 통해 기대 정보 수익의 예측을 검증하고, 다양한 설계 간 실제 정보 수익을 비교하는 것.

실험 결과

연구 질문

• RQ1 확률적 프로그래밍 언어는 맞춤형 추론 또는 유틸리티 함수 없이도 최적의 실험 설계를 자동화하는 데 사용될 수 있는가?
• RQ2 기대 정보 수익은 인간 인지 실험에서 실제 정보 수익을 신뢰성 있게 예측할 수 있는가?
• RQ3 실제 세계 환경에서 OED가 식별한 실험은 수동으로 설계된 실험보다 얼마나 더 정보량이 많은가?
• RQ4 참가자 수와 정보 수익 측면에서 OED의 비용-편익 추정은 어떠한가?
• RQ5 노이즈가 많고 동일하지 않은 반응을 보이는 복잡한 실제 심리학 모형에 대해 OED는 효과적으로 적용될 수 있는가?

주요 결과

• 시스템이 식별한 최적의 실험은 단 10명의 참가자로 평균 0.15의 실제 정보 수익을 달성했으며, 이는 수동으로 설계된 MS 실험보다 뛰어난 성능을 보였다. MS 실험은 동일한 수준에 도달하기 위해 30명의 참가자가 필요했다.
• 단일 참가자 기준으로 최적의 실험은 MS 실험보다 실제 정보 수익이 5.8배 높았다(0.15 대 0.026), 이는 기대 정보 수익에서 예측한 2.5배 수준을 초월했다.
• 최적의 실험은 10명의 참가자로 최대 정보 수익을 달성했고, MS 실험은 약 30명이 필요했으며, 이는 표본 수의 3배 감소를 의미한다.
• 기대 정보 수익은 실제 정보 수익을 강력하게 예측하는 것으로 밝혀져, 실험 선택의 신뢰할 수 있는 대체 지표로 사용될 수 있음을 검증했다.
• 프레임워크는 장난감 예제를 넘어서 실제 심리학 모형에도 성공적으로 확장되었으며, 두 경쟁 모델이 있는 고전적인 범주 학습 연구를 포함했다.
• 시스템은 수동 조정이나 맞춤형 추론 코드 없이도 완전히 자동화된 실험 설계를 가능하게 하여, OED에 대한 진입 장벽을 크게 낮췄다.