[논문 리뷰] Bayesian Design of Experiments Using Approximate Coordinate Exchange

Antony M. Overstall, David C. Woods|arXiv (Cornell University)|2015. 01. 01.

Optimal Experimental Design Methods인용 수 5

한 줄 요약

이 논문은 복잡한 비선형 모델에 대한 계산적으로 효율적인 베이지안 실험 설계를 가능하게 하는 근사 좌표 교환(ACE) 알고리즘을 소개한다. 이 알고리즘은 고차원 예상 유틸리티 함수를 근사하기 위해 가우시안 프로세스 에뮬레이터를 사용한다. 이 방법은 점근적 근사 없이 고차원 공간에서 최적의 설계를 달성하며, 기존에 다루기 어려웠던 문제들—예를 들어 약물동태학적 모델 및 이산 혼합 모델 설계—를 해결할 수 있다.

ABSTRACT

The construction of decision-theoretic Bayesian designs for realistically-complex nonlinear models is computationally challenging, as it requires the optimization of analytically intractable expected utility functions over high-dimensional design spaces. We provide the most general solution to date for this problem through a novel approximate coordinate exchange algorithm. This methodology uses a Gaussian process emulator to approximate the expected utility as a function of a single design coordinate in a series of conditional optimization steps. It has flexibility to address problems for any choice of utility function and for a wide range of statistical models with different numbers of variables, numbers of runs and randomization restrictions. In contrast to existing approaches to Bayesian design, the method can find multi-variable designs in large numbers of runs without resorting to asymptotic approximations to the posterior distribution or expected utility. The methodology is demonstrated on a variety of challenging examples of practical importance, including design for pharmacokinetic models and design for mixed models with discrete data. For many of these models, Bayesian designs are not currently available. Comparisons are made to results from the literature, and to designs obtained from asymptotic approximations.

연구 동기 및 목표

• 고차원 설계 공간을 가진 현실적으로 복잡한 비선형 모델에 대해 의사결정 이론 기반의 베이지안 설계를 구성하는 데 발생하는 계산적 과제를 해결하기 위해.
• 다변수 설계를 위한 기존의 시뮬레이션 기반 방법이 제한하는 고차원 예상 유틸리티 최적화에서의 차원의 극복 문제를 해결하기 위해.
• 사후분포나 유틸리티 함수의 점근적 근사에 의존하지 않는 확장 가능한 일반 목적의 방법론을 개발하기 위해.
• 기존에 전체 베이지안 의사결정 이론 하에서 다루기 어려웠던 모델—예를 들어 약물동태학적 모델 및 이산 혼합 모델—에 대해 최적의 설계를 구성할 수 있도록 하기 위해.
• 다양한 통계 모델, 유틸리티 함수, 설계 제약 조건에 적용 가능한 융통성 있는 프레임워크를 제공하기 위해.

제안 방법

• ACE 알고리즘은 모든 다른 좌표에 대해 고정된 조건 하에서 단일 설계 좌표에 대한 함수로 예상 유틸리티를 근사하기 위해 일련의 일차원 가우시안 프로세스 에뮬레이터를 사용한다.
• 연속적인 좌표 교환 알고리즘의 버전을 적용하여 단계적으로 각 설계 좌표를 최적화함으로써 고차원 문제를 저차원 최적화의 연속으로 환원한다.
• 예상 유틸리티는 모형 매개변수의 사전 샘플링과 시뮬레이션된 데이터를 기반으로 몬테카를로 시뮬레이션을 통해 근사되며, 효율성을 높이기 위해 반대변수 기법과 같은 분산 감소 기법을 고려한다.
• 모든 설계 좌표 중 하나를 제외한 나머지 좌표를 고정함으로써 전체 고차원 에뮬레이션의 필요성을 피함으로써 차원의 극복 문제를 완화한다.
• 알고리즘은 R 패키지로 구현되었으며, 임의의 수의 변수, 시행 수, 무작위화 제약 조건을 지원한다.
• 스토케스틱 시뮬레이션과 에뮬레이터를 통한 결정론적 최적화를 결합함으로써, 계산 비용이 높은 가능성 함수가 있는 경우에도 거의 최적의 설계로 수렴할 수 있다.

실험 결과

연구 질문

• RQ1 점근적 근사에 의존하지 않고 고차원 비선형 모델에 대해 확장 가능한 베이지안 설계 방법론을 개발할 수 있는가?
• RQ2 고차원 설계 공간에서 분석적으로 다루기 어려운 예상 유틸리티 함수의 최적화에 따른 계산 부담을 어떻게 줄일 수 있는가?
• RQ3 일차원 조건부 에뮬레이터가 복잡한 모델의 다변수 설계 최적화를 효과적으로 이끌 수 있는가?
• RQ4 실제 문제에 대해 ACE 알고리즘이 점근적 근사와 기존의 시뮬레이션 기반 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ5 수치적 미분방정식 해법을 통해 정의된 모델과 같이 가능성 함수가 다루기 어려운 모델로 ACE 프레임워크를 확장할 수 있는가?

주요 결과

• ACE 알고리즘은 LD50 추정을 포함한 약물동태학적 모델에 대해 베이지안 최적 설계를 성공적으로 식별하였으며, LD50 매개변수의 사후 분산은 $2.10 \times 10^{-5}$를 기록하였다.
• n_0 = 1 및 n_0 = 2인 경우, ACE 알고리즘은 음의 예상 사후 분산을 최소화하는 설계를 선택하여 균일한 랜덤 설계보다 뛰어난 성능을 보였다.
• 이 알고리즘은 농도가 집중된 설계(예: 1.77에서 4회의 복제)를 찾아내어 기대 분산을 크게 감소시키며, 사전 불확실성에 대해 강건함을 보였다.
• ACE 알고리즘은 점근적 근사 없이도 이산 데이터와 복잡한 무작위화 제약 조건이 있는 모델에서도 수렴성과 최적 성능을 달성하였다.
• 이 알고리즘은 더 작은 문제에서는 기존 방법을 능가하거나 동등하게 성능을 발휘하며, 이산 반응을 가진 혼합 모델에 대한 다변수 설계와 같이 이전에는 다루기 어려웠던 문제들을 해결할 수 있었다.
• 프리라이트 런과 구조적 분석 결과, 재매개변수화를 통해 설계 좌표 간의 종속성을 줄여 수렴성을 추가로 향상시킬 수 있을 것으로 제안되었다.