[논문 리뷰] Variational Bayesian Optimal Experimental Design

Adam Foster, Martin Jankowiak외 5명|arXiv (Cornell University)|2019. 03. 13.

Optimal Experimental Design Methods참고 문헌 36인용 수 36

한 줄 요약

본 논문은 amortized variational inference를 이용한 Bayesian 최적 실험 설계(BOED)에서 기대 정보 이득(EIG)의 빠른 추정기를 제시하고, 기존 방법들에 비해 속도와 정확도를 향상시킵니다. 여러 실험에서 엔드투엔드 적용 가능성을 실무적으로 시연합니다.

ABSTRACT

Bayesian optimal experimental design (BOED) is a principled framework for making efficient use of limited experimental resources. Unfortunately, its applicability is hampered by the difficulty of obtaining accurate estimates of the expected information gain (EIG) of an experiment. To address this, we introduce several classes of fast EIG estimators by building on ideas from amortized variational inference. We show theoretically and empirically that these estimators can provide significant gains in speed and accuracy over previous approaches. We further demonstrate the practicality of our approach on a number of end-to-end experiments.

연구 동기 및 목표

• 제한된 실험 자원을 효율적으로 사용하는 원칙적 프레임워크로서 BOED를 동기 부여한다.
• BOED에서 EIG를 추정하는 계산상의 도전과제를 다룬다.
• amortized variational inference를 활용하여 EIG의 빠르고 정확한 추정기를 개발한다.
• 엔드투엔드 실험에서 접근 방식의 실용성을 시연한다.

제안 방법

• amortized variational inference에서 영감을 받은 여러 클래스의 빠른 EIG 추정기를 제안한다.
• 이전 EIG 추정 방법에 비해 성능 향상을 이론적으로 분석한다.
• 합성 및 실 데이터에서 기준선과 비교하여 속도와 정확성을 경험적으로 비교한다.
• 여러 실험 시나리오를 통해 엔드투엔드 적용 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 기존 접근법과 비교하여 amortized variational 방법이 BOED를 위한 EIG의 추정치를 더 빠르고 더 정확하게 제공할 수 있는가?
• RQ2 다양한 실험 설정에서 제안된 추정기가 계산 효율성 및 추정 품질 측면에서 어떻게 성능을 보이는가?
• RQ3 해당 추정기가 실제 문제에서 실용적인 엔드투엔드 BOED를 가능하게 하는가?

주요 결과

• 제안된 추정기는 이전 EIG 추정 방법에 비해 속도에서 상당한 이점을 제공한다.
• 평가된 시나리오에서 EIG 추정의 정확도도 향상된 것으로 나타난다.
• 이 접근 방식은 여러 실험에서 실용적인 엔드투엔드 BOED를 가능하게 한다.