[논문 리뷰] Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning

Wanggang Shen, Xun Huan|arXiv (Cornell University)|2021. 10. 28.

Advanced Multi-Objective Optimization Algorithms참고 문헌 96인용 수 8

한 줄 요약

이 논문은 정책 그래เดียน트 강화학습을 사용하여 비선형 모델을 위한 베이지안 순차 최적 실험 설계(sOED) 프레임워크를 제안한다. sOED는 정보 이론적 유틸리티를 기반으로 한 유한 수명의 POMDP로 공식화되며, 새로운 정책 그래디언트 표현을 유도하고, 액터-크리틱 딥 러닝 접근법을 활용해 적응형이고 레이아웃을 고려한 설계 정책을 학습한다. 이는 오염원 역문제에서 배치 설계와 탐욕적 설계를 능가한다.

ABSTRACT

We present a mathematical framework and computational methods to optimally design a finite number of sequential experiments. We formulate this sequential optimal experimental design (sOED) problem as a finite-horizon partially observable Markov decision process (POMDP) in a Bayesian setting and with information-theoretic utilities. It is built to accommodate continuous random variables, general non-Gaussian posteriors, and expensive nonlinear forward models. sOED then seeks an optimal design policy that incorporates elements of both feedback and lookahead, generalizing the suboptimal batch and greedy designs. We solve for the sOED policy numerically via policy gradient (PG) methods from reinforcement learning, and derive and prove the PG expression for sOED. Adopting an actor-critic approach, we parameterize the policy and value functions using deep neural networks and improve them using gradient estimates produced from simulated episodes of designs and observations. The overall PG-sOED method is validated on a linear-Gaussian benchmark, and its advantages over batch and greedy designs are demonstrated through a contaminant source inversion problem in a convection-diffusion field.

연구 동기 및 목표

• 고차원적이고 비정규분포를 가진 사후분포, 그리고 비용이 많이 드는 전진 모델을 가진 비선형 모델을 위한 계산적으로 효율적이고 적응형 실험 설계 방법을 개발하기 위해.
• 배치 설계와 탐욕적 설계의 한계를 극복하기 위해 원칙적인 순차 설계 프레임워크를 통해 피드백과 레이아웃을 모두 통합하기 위해.
• 지속적인 상태, 행동, 관측값을 가진 유한 수명의 POMDP로 순차 OED를 공식화하여 불확실성 하에서 최적의 정책 학습을 가능하게 하기 위해.
• 강화학습을 통한 종단 간 학습이 가능한 가분성 있는 설계 정책을 가능하게 하는 정책 그래디언트 표현을 유도하고 검증하기 위해.
• 복잡하고 실제 세계적인 역문제에서 전통적인 배치 설계와 탐욕적 설계보다 제안된 방법이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 정보 이론적 보상(기대 KL 발산 기반)을 사용하여 유한 수명의 부분 관측 가능 마르코프 결정 과정(POMDP)으로 순차 OED를 공식화한다.
• 믿음 상태를 통해 순차적으로 전개되는 벨먼 방정식과 연쇄 법칙을 사용하여 sOED의 닫힌 형태 정책 그래디언트 표현을 도출한다.
• 정책 함수와 가치 함수를 딥 뉴럴 네트워크로 파arameter화한 액터-크리틱 강화학습 프레임워크를 사용한다.
• 시뮬레이션된 에피소드를 사용하여 정책과 가치 함수 업데이트를 위한 그래디언트 추정치를 생성함으로써 샘플 효율적인 최적화를 가능하게 한다.
• 각 단계에서 베이지안 추론을 통합하여 믿음 상태를 업데이트하고, 미지의 매개변수에 대한 사후분포를 유지한다.
• 검증을 위해 선형-가우시안 기준과 비선형 대류-확산 오염원 역문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 강화학습 접근법은 복잡하고 비정규분포를 가진 사후분포를 가진 비선형 모델을 위한 최적의 순차 실험 설계를 효과적으로 학습할 수 있는가?
• RQ2 레이아웃과 피드백을 통합한 제안된 sOED 방법은 정보 수득과 불확실성 감소 측면에서 비최적의 배치 설계와 탐욕적 설계보다 어떻게 비교되는가?
• RQ3 비용이 많이 드는 전진 모델을 가진 고차원적 비선형 역문제에서 PG-sOED 방법의 계산적 및 통계적 성능은 어떠한가?
• RQ4 유연한 연속적 설계 및 관측 공간에서 유도된 정책 그래디언트 표현은 실용적으로 효율적으로 계산되고 적용될 수 있는가?
• RQ5 액터-크리틱 딥 러닝 아키텍처는 복잡한 POMDP 공식화 속에서도 안정적이고 효과적인 적응형 설계 정책 학습을 가능하게 하는가?

주요 결과

• PG-sOED 방법은 배치 설계와 탐욕적 설계를 초월하는 피드백 인식형이고 레이아웃 최적화된 설계 정책을 성공적으로 학습하였다.
• 선형-가우시안 기준 문제에서 이 방법은 거의 최적의 성능를 달성하여 유도된 정책 그래디언트 표현의 정확성을 검증하였다.
• 비선형 오염원 역문제에서 PG-sOED는 배치 설계와 탐욕적 설계보다 사후 불확실성을 크게 감소시켜 뛰어난 정보 수득 능력을 입증하였다.
• 액터-크리틱 딥 러닝 아키텍처는 POMDP 공식화의 복잡성에도 불구하고 안정적인 학습과 효과적인 정책 최적화를 가능하게 하였다.
• 학습된 정책 네트워크를 통한 탐색과 이용의 균형 조절을 통해 실험 효율성이 향상되었다.
• 유도된 정책 그래디언트 표현은 샘플링 전환과 베이지안 추론 단계가 있는 경우에도 종단 간 가분성 있는 설계 정책 학습을 가능하게 하였다.