[논문 리뷰] acebayes: An R Package for Bayesian Optimal Design of Experiments via Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods외 1명|arXiv (Cornell University)|2017. 05. 23.

Advanced Multi-Objective Optimization Algorithms인용 수 10

한 줄 요약

이 논문은 복잡하고 고차원적인 문제에 대해 분석적으로 구할 수 없는 기대 효용 적분을 효율적으로 근사함으로써 고차원 문제에 대한 베이지안 최적 실험 설계를 가능하게 하는 R 패키지 acebayes를 소개한다. 가우시안 프로세스 에미우레이션과 순차적 일변도 최적화를 조합함으로써 acebayes는 이전에 가능하지 않았던 더 큰 모형과 데이터셋에 대한 설계를 가능하게 하며, 매개변수 추정, 모형 선택, 예측 목표를 포함한 일반선형모형과 비선형모형에 적용할 수 있다.

ABSTRACT

We describe the R package acebayes and demonstrate its use to find Bayesian optimal experimental designs. A decision-theoretic approach is adopted, with the optimal design maximising an expected utility. Finding Bayesian optimal designs for realistic problems is challenging, as the expected utility is typically intractable and the design space may be high-dimensional. The package implements the approximate coordinate exchange algorithm to optimise (an approximation to) the expected utility via a sequence of conditional one-dimensional optimisation steps. At each step, a Gaussian process regression model is used to approximate, and subsequently optimise, the expected utility as the function of a single design coordinate (the value taken by one controllable variable for one run of the experiment). In addition to functions for bespoke design problems with user-defined utility functions, acebayes provides functions tailored to finding designs for common generalised linear and nonlinear models. The package provides a step-change in the complexity of problems that can be addressed, enabling designs to be found for much larger numbers of variables and runs than previously possible. We provide tutorials on the application of the methodology for four illustrative examples of varying complexity where designs are found for the goals of parameter estimation, model selection and prediction. These examples demonstrate previously unseen functionality of acebayes.

연구 동기 및 목표

• 기대 효용 적분이 분석적으로 구할 수 없는 고차원 실험 설정에서 베이지안 최적 설계를 계산하는 데 도전하는 것.
• 기존 방법을 초월하여 가능해지는 실험 설계 문제의 범위를 확장하는 확장 가능한 계산 프레임워크를 개발하는 것.
• 일반선형모형과 비선형모형과 같은 일반적인 모형을 위한 맞춤형 기능과 함께 사용자 정의 효용 함수를 지원하는 사용자 友好的 R 패키지를 제공하는 것.
• 불확실성 하에서 매개변수 추정, 모형 선택, 예측과 같은 복잡한 목표를 위한 효율적 설계 최적화를 가능하게 하는 것.
• 실제 사례를 통해 방법의 능력을 입증하는 것, 특히 고차원 및 기댓값이 계산되지 않는 모형을 포함한 사례들에 대해

제안 방법

• ACE 알고리즘은 설계 좌표에 대해 순차적 일변도 최적화를 수행하며, 한 번에 하나의 변수만 갱신하고 나머지는 고정한다.
• 각 단계에서, 가우시안 프로세스 회귀 모델이 후보 점들의 공간을 메우는 설계 좌표에 대한 기대 효용을 에미우레이션한다.
• 알고리즘은 가우시안 프로세스 에미우레이터의 예측 평균을 사용하여 현재 좌표에 대한 최적의 값을 식별하고, 설계를 반복적으로 개선한다.
• 스토케스틱 근사(예: 몬테카를로)의 경우, 새로운 설계의 수용은 베이지안 가설 검정에 기반한 확률적이다. 결정론적 근사(예: 구적법)의 경우, 수용은 효용 향상에 기반한다.
• 단계 I은 다수의 사이클 동안 좌표별 갱신을 수행한다. 단계 II는 局부 최적해를 벗어나기 위해 설계 실행을 추가하거나 제거함으로써 탐색을 향상시킨다.
• 패키지는 사용자 정의 효용 함수와 일반적인 통계 모형(예: GLMs, 비선형모형)을 위한 특화된 함수(예: paceglm, pacenlm)를 모두 지원한다.

실험 결과

연구 질문

• RQ1 ACE 알고리즘이 전체 기대 효용 계산이 불가능한 고차원 설계 공간에서 베이지안 최적 설계를 효율적으로 최적화할 수 있는가?
• RQ2 가우시안 프로세스 에미우레이션의 사용이 베이지안 설계 최적화의 확장성과 정확도를 어떻게 향상시키는가?
• RQ3 acebayes는 기댓값이 계산되지 않는 비선형 모형과 상미분방정식 모형과 같은 복잡한 모형을 어느 정도 다룰 수 있는가?
• RQ4 패키지는 단일 결정 이론 프레임워크 내에서 매개변수 추정, 모형 선택, 예측을 위한 다중 목표 설계를 찾을 수 있는가?
• RQ5 대규모 문제에 대해 기존 방법과 비교했을 때 acebayes의 설계 품질과 계산 효율성은 어떻게 되는가?

주요 결과

• acebayes 패키지는 이전에 가능하지 않았던 변수 수와 시행 수가 훨씬 많은 실험 문제에 대해 베이지안 최적 설계를 가능하게 하여, 실현 가능한 설계 문제의 범위를 확장한다.
• 가우시안 프로세스 에미우레이션을 통한 근사 좌표 교환 알고리즘은 고차원 베이지안 설계 최적화에 대해 확장 가능하고 효율적인 해결책을 제공하며, 계산 부담을 감소시킨다.
• 이 방법은 매개변수 추정, 모형 선택, 예측을 포함한 네 가지 예시 모형에 대해 최적 설계를 성공적으로 찾았으며, 이전에는 실현되지 않았던 功能을 입증한다.
• 패키지는 상미분방정식 모형과 기댓값이 계산되지 않는 모형을 포함한 복잡한 모형을 지원하며, 약물 제제 합성과 동적 시스템에 대한 적용 사례를 통해 이를 입증한다.
• 알고리즘은 히우리스틱이며, 여러 번의 재시작에서 유의미한 이점을 얻는다. 패키지는 'pace' 함수와 같은 도구를 통해 병렬 실행과 수렴 개선을 지원한다.
• 패키지는 고차원 설계 및 합성 최적화와 같은 실제 응용에 사용되었으며, 이는 합성 예제를 넘어서 실용적 유용성을 확인한다.