[논문 리뷰] Optimizing Sequential Experimental Design with Deep Reinforcement Learning

Tom Blau, Edwin V. Bonilla외 2명|arXiv (Cornell University)|2022. 02. 02.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 연속적이고 이산적인 설계 공간에서 조건부 확률 모델이 흑상자일 경우에도 효율적이고 비단기적인 최적화를 가능하게 하는 딥 강화학습(Reinforcement Learning, RL) 프레임워크를 제안한다. 이는 순차적 실험 설계(Sequential Experimental Design, SED)를 마르코프 결정 과정(Markov Decision Process, MDP)으로 공식화함으로써, 미분 가능 모델이나 기울기 기반 최적화를 요구하지 않으며, 정책 그래ient 방법을 활용함으로써 다양한 설정에서 기존의 약간의 최적화와 비약간의 최적화 기반 기준을 초월하는 최신 기술 성능을 달성한다.

ABSTRACT

Bayesian approaches developed to solve the optimal design of sequential experiments are mathematically elegant but computationally challenging. Recently, techniques using amortization have been proposed to make these Bayesian approaches practical, by training a parameterized policy that proposes designs efficiently at deployment time. However, these methods may not sufficiently explore the design space, require access to a differentiable probabilistic model and can only optimize over continuous design spaces. Here, we address these limitations by showing that the problem of optimizing policies can be reduced to solving a Markov decision process (MDP). We solve the equivalent MDP with modern deep reinforcement learning techniques. Our experiments show that our approach is also computationally efficient at deployment time and exhibits state-of-the-art performance on both continuous and discrete design spaces, even when the probabilistic model is a black box.

연구 동기 및 목표

• 기존의 약간의 베이지안 최적 실험 설계(BOED) 방법의 한계를 해결하기 위해, 이는 미분 가능 모델을 요구하며 연속적 설계 공간에 국한되어 있다.
• 연속적 및 이산적 설계 공간에서 비단기적이고 계산적으로 효율적인 실험 설계를 가능하게 하기 위해.
• 확률 모델을 통해 기울기 계산에 의존하지 않는 일반적인 프레임워크를 개발하기 위해.
• 기울기 기반 정책 최적화 방법에 비해 설계 공간의 탐색을 향상시키기 위해.
• 적절한 보상 설계를 통해 SED를 MDP로 공식화하면, 표준 강화학습 알고리즘을 사용하여도 뛰어난 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 저자는 순차적 실험 설계를 마르코프 결정 과정(MDP)으로 재공식화하며, 상태는 모델 매개변수에 대한 현재 사후 분포를 나타내고, 행동은 실험 설계이며, 보상은 기대 정보 이득(Expected Information Gain, EIG)에 기반한다.
• EIG를 미분 가능하고 스케일러블한 방식으로 추정하기 위해 사전 대비 추정(Prior Contrastive Estimation, PCE) 하한을 사용하여 정책 네트워크의 훈련을 가능하게 한다.
• 정책 그래ient 방법(예: Proximal Policy Optimization, PPO)을 통해 누적 기대 보상을 최대화하도록 딥 정책 네트워크를 훈련시킨다.
• 이 방법은 확률 모델을 통해 역전파를 요구하지 않아 흑상자 모델에도 적용 가능하다.
• 적절한 보상 분해는 핵심적이다: 보상은 각 단계에서의 정보 이득을 반영하도록 분해되어 있어 희박하거나 오해의 소지가 있는 보상 할당을 방지한다.
• 이 방법은 약간의 방법으로, 단일 훈련 단계 이후에 배포 시 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속적 및 이산적 설계 공간을 모두 가진 순차적 실험 설계 문제에 대해 강화학습이 효과적으로 적용될 수 있는가?
• RQ2 기울기가 없는 또는 흑상자 확률 모델이 존재하는 설정에서, RL 기반 실험 설계의 성능은 기울기 기반 약간의 방법에 비해 어떻게 비교되는가?
• RQ3 적절한 MDP 공식화와 보상 설계가 강화학습 에이전트의 실험 설계 성능에 어떤 영향을 미치는가?
• RQ4 RL 기반 정책은 기울기 기반 정책 최적화 방법에 비해 더 다양한 정보를 가진 설계를 발견할 수 있는가?
• RQ5 설계 공간 탐색 능력이 비단기적 실험 설계에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 RL 기반 방법은, 후행적으로 미분 가능한 모델을 사용하는 기존의 비약간의 최적화 및 약간의 최적화 기준을 모두 뛰어넘어 연속적 설계 공간에서 뚜렷한 성능 향상을 보였다.
• 이산적 설계 공간에서는 최고의 비약간의 기준과 유사한 성능을 달성했으며, 약간의 기준은 기울기 요구 조건으로 인해 실패했다.
• 기울기가 제공되지 않는 흑상자 모델에서는 RL 접근 방식이 최신 기술 성능을 달성했으며, 대부분의 기준은 적용 불가능했다.
• 제거 실험 결과는 단순한 보상 설계가 열악한 성능을 초래함을 확인했으며, 단계별 보상으로 EIG 목표를 정확히 분해하는 것이 중요함을 강조했다.
• 훈련된 RL 정책는 기울기 기반 정책 최적화 방법에 비해 더 다양한 정보를 가진 설계를 제안했으며, 이는 뛰어난 탐색 능력을 의미한다.
• 이 방법은 광범위한 문제 유형을 다루고 있음에도 불구하고, 약간의 방법과 동일한 빠른 추론 시간을 유지했다.