[논문 리뷰] A synthetic likelihood-based Laplace approximation for efficient design of biological processes

Mahasen B. Dehideniya, Antony M. Overstall외 2명|arXiv (Cornell University)|2019. 03. 11.

Optimal Experimental Design Methods참고 문헌 45인용 수 7

한 줄 요약

이 논문은 복잡한 생물학적 모델에서 비가역적 우도를 가진 경우에도 효율적인 베이지안 실험 설계를 가능하게 하기 위해 합성 우도 기반 라플라스 근사법을 제안한다. 요약 통계량과 후행 분포에 대한 라플라스 근사를 조합함으로써, 고차원 설계 공간에서 유틸리티 평가를 가속화하여 전염병학 및 생태학 분야의 대규모 실험에 대한 최적의 설계를 실현하며, 계산 비용을 크게 절감하고 다양한 유틸리티 함수에 대해 뛰어난 안정성과 성능을 보인다.

ABSTRACT

Complex models used to describe biological processes in epidemiology and ecology often have computationally intractable or expensive likelihoods. This poses significant challenges in terms of Bayesian inference but more significantly in the design of experiments. Bayesian designs are found by maximising the expectation of a utility function over a design space, and typically this requires sampling from or approximating a large number of posterior distributions. This renders approaches adopted in inference computationally infeasible to implement in design. Consequently, optimal design in such fields has been limited to a small number of dimensions or a restricted range of utility functions. To overcome such limitations, we propose a synthetic likelihood-based Laplace approximation for approximating utility functions for models with intractable likelihoods. As will be seen, the proposed approximation is flexible in that a wide range of utility functions can be considered, and remains computationally efficient in high dimensions. To explore the validity of this approximation, an illustrative example from epidemiology is considered. Then, our approach is used to design experiments with a relatively large number of observations in two motivating applications from epidemiology and ecology.

연구 동기 및 목표

• 시스템 생물학, 전염병학, 생태학 분야에서 비가역적 또는 계산 비용이 큰 우도를 가진 모델에 대해 베이지안 실험 설계가 계산적으로 불가능한 문제를 해결하기 위해.
• 기존 방법을 확장하여 더 큰 설계 공간과 우도 기반 외의 다양한 유틸리티 함수를 처리할 수 있도록 하기 위해.
• 전체 우도 평가를 요약 통계량과 후행 분포에 대한 라플라스 근사로 대체하여 계산 부담을 줄이기 위해.
• 많은 수의 관측치를 포함하는 실험 설계를 효율적으로 수행하면서도 유틸리티 근사의 정확성과 안정성을 유지하기 위해.
• 사전 시뮬레이션 데이터 세트나 이산적 설계 공간 제약 없이도 확장 가능하고 유연한 최적 설계 프레임워크를 제공하기 위해.

제안 방법

• 고차원 데이터에서 발생하는 차원의 저주를 피하기 위해 차원을 줄이기 위해 요약 통계량을 사용한다.
• 모델 하에서 요약 통계량의 우도를 다변수 정규성을 가정하여 합성 우도 접근법을 적용해 근사한다.
• 요약 통계량과 설계를 기반으로 한 매개변수의 후행 분포를 효율적으로 근사하기 위해 라플라스 근사를 적용한다.
• 쿠르바크-라이블러 발산, 상호정보량, 음의 제곱오차 손실, 총 엔트로피 등의 유틸리티 함수를 라플라스 근사된 후행 분포를 사용해 평가한다.
• 기대 유틸리티를 최대화하기 위해 최적화를 통해 설계 공간을 탐색하며, 낮은 정확도의 근사 방지를 위해 반복적 개선을 수행한다.
• 모델링 사례와 두 가지 실제 응용 사례(구제역 모델 및 수정된 로트카-볼테라 포식자-피식자 모델)를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 비가역적 우도를 가진 모델에 대해 고차원 설계 공간에서 합성 우도 기반 라플라스 근사법이 유틸리티 함수를 효과적으로 근사할 수 있는가?
• RQ2 대규모 생물학적 실험에 대해 기존 방법과 비교해 본다면, 제안된 방법은 계산 효율성과 정확성 측면에서 어떤가?
• RQ3 비우도 기반 유틸리티 함수 외의 다양한 유틸리티 함수를 고려할 수 있을 정도로, 이 방법은 복잡한 생물학적 시스템의 실험 설계에서 얼마나 넓은 적용 범위를 가지는가?
• RQ4 스토케스틱 전염병 및 생태학적 과정과 같은 다양한 모델과 데이터 생성 메커니즘에 대해 이 방법은 얼마나 안정적인가?
• RQ5 엄청난 수의 관측치가 필요한 모델에 대해서도 이 방법은 금방이 되는 계산 비용 없이 적용 가능한가?

주요 결과

• 제안된 방법은 비가역적 우도를 가진 모델에 대해 효율적인 실험 설계를 가능하게 하며, 모델 시뮬레이션 횟수를 줄임으로써 뚜렷한 계산 비용 절감 효과를 보였다.
• 구제역 모델의 경우, 높은 유틸리티를 보이는 최적의 샘플링 시간을 성공적으로 식별하였으며, 다양한 설계 기준에 대해 뛰어난 안정성을 입증하였다.
• 수정된 로트카-볼테라 모델에서는 SIGP 및 NSEL 유틸리티 기반 설계가 등간격 설계와 유사한 성능을 보였으며, 20개의 설계 포인트에서 평균 기대 유틸리티는 각각 2.97 (표준편차 0.02) 및 -0.0589 (표준편차 0.0005)를 기록하였다.
• 라플라스 근사는 낮은 계산 오버헤드로 정확한 유틸리티 추정을 가능하게 하여 연속적이고 고차원의 설계 공간에서의 최적화를 실현하였다.
• 이전 방법보다 더 큰 설계 공간과 더 넓은 유틸리티 함수 범위를 다룰 수 있었으며, 사전 시뮬레이션 데이터 세트나 이산적 설계 격자에 의존하지 않아도 되어 우수한 성능을 발휘하였다.
• 요약 통계량 선택의 곤경에도 불구하고, 방법은 안정적이고 효과적이었으며, 최적화 과정에서 낮은 유틸리티를 가진 설계가 걸러졌다.