[논문 리뷰] Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming

Kirthevasan Kandasamy, Willie Neiswanger외 4명|arXiv (Cornell University)|2018. 05. 25.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 3

한 줄 요약

이 논문은 복잡한 다중 목표 목적을 위한 실시간 과학적 및 산업적 응용에서 효과적이고 확장 가능한 실험 설계(DoE)를 가능하게 하는 일반 목적의 베이지안 DoE 프레임워크인 '미로픽 후행 샘플링(MPS)'을 제안한다. 이는 확률적 프로그래밍과 후행 샘플링을 활용하여 순차적으로 실험을 선택하며, 적응형 순서 부가성 및 단조성 조건 하에서 이론적으로 미로픽 정책과 전역 최적 정책에 대해 비선형 손실을 보이며, 최소한의 사전 가정으로도 실용적인 성능을 달성한다.

ABSTRACT

We design a new myopic strategy for a wide class of sequential design of experiment (DOE) problems, where the goal is to collect data in order to to fulfil a certain problem specific goal. Our approach, Myopic Posterior Sampling (MPS), is inspired by the classical posterior (Thompson) sampling algorithm for multi-armed bandits and leverages the flexibility of probabilistic programming and approximate Bayesian inference to address a broad set of problems. Empirically, this general-purpose strategy is competitive with more specialised methods in a wide array of DOE tasks, and more importantly, enables addressing complex DOE goals where no existing method seems applicable. On the theoretical side, we leverage ideas from adaptive submodularity and reinforcement learning to derive conditions under which MPS achieves sublinear regret against natural benchmark policies.

연구 동기 및 목표

• 다양한 과학적 및 산업적 목표를 수용할 수 있는 융통성 있고 일반적인 목적의 순차적 실험 설계(DoE) 프레임워크를 개발하는 것.
• 전문 분야 지식을 베이지안 모델을 통해 통합하고, 맞춤형 페널티 함수를 통해 목표를 정의할 수 있도록 하는 것.
• 장기 계획 없이도 최적 정책과 경쟁 가능한 계산 효율성이 높은 미로픽 전략을 설계하는 것.
• 이론적으로 제안된 방법의 성능를 정당화하기 위해, 최적 정책에 대해 비선형 손실을 달성할 수 있는 조건을 유도하는 것.
• 기존 접근법이 실패하는 복잡한 DoE 과제에 대해 전문적 방법과의 경험적 경쟁력과 적용 가능성을 입증하는 것.

제안 방법

• 이 방법은 후행 샘플링(스미스 샘플링)을 사용하여 모델 매개변수의 후행 분포에서 샘플을 추출하여 행동 선택을 이끌어내는 미로픽 전략을 채택한다.
• 복잡한 도메인 특화 모델과 추론 절차를 표현하기 위해 확률적 프로그래밍을 활용하여 융통성 있고 확장 가능한 구현을 가능하게 한다.
• 여러 워커를 사용한 동기 및 异기 병렬 실행 모두와 호환되도록 알고리즘을 설계한다.
• 핵심 구성 요소로는 목표별 비용을 측정하는 페널티 함수 $\lambda$를 사용하며, 시간에 따라 기대 $\lambda$의 최소화를 목표로 한다.
• 이론적 분석은 적응형 순서 부가성과 단조성을 바탕으로 하여, 미로픽 정책의 근사 오차와 추정 오차를 제한한다.
• 합성 및 실제 DoE 과제를 대상으로 경험적으로 평가되었으며, 다중 목표 최적화 및 능동 학습과 같은 과제에서 전문적 기준과의 경쟁력 있는 성능을 보였다.

실험 결과

연구 질문

• RQ1 순차적 DoE에서, 미로픽 후행 샘플링 전략은 어떤 조건 하에서 전역 최적 정책에 대해 비선형 손실을 달성하는가?
• RQ2 문제 특화 알고리즘 재설계 없이도 복잡한 다중 목표 목적을 다룰 수 있는 일반 목적의 베이지안 DoE 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 확률적 프로그래밍과 근사 베이지안 추론은 실생활 응용에서 DoE 전략의 확장성과 융통성을 얼마나 높일 수 있는가?
• RQ4 시간적 의존성과 비선형 모델이 존재하는 환경에서, 후행 샘플링 기반의 미로픽 정책은 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ5 제안된 방법의 성능는 경험적 효과성과 이론적 보장 측면에서 전문 알고리즘과 비교해 볼 때 어느 정도인가?

주요 결과

• 제안된 미로픽 후행 샘플링(MPS) 알고리즘은 미로픽 최적 정책 $\pi_{\rm M}^{\star}$에 대해 비선형 손실을 달성하며, 미약한 정규성 조건 하에서 손실이 $\sqrt{\Psi_n / n}$ 비율로 감소한다.
• 페널티 함수 $\lambda$의 단조성 및 적응형 순서 부가성 조건 하에서, MPS는 $ (1 - \gamma) \cdot \mathbb{E}[\mu(D^\star_{\gamma n})] - B\sqrt{\Psi_n / (2n)} $ 성능 보장을 달성하며, 여기서 $\mu = 1 - \lambda$ 이다. 이는 전역 최적 정책 $\pi_{\rm G}^{\star}$와의 경쟁력을 보여준다.
• 경험적 결과로, MPS는 다중 목표 최적화 및 능동 학습과 같은 다양한 DoE 과제에서 전문적 기준과 유사한 성능을 보이며, 일반 목적의 설정임에도 불구하고 경쟁력을 입증하였다.
• 기존 방법이 적용 불가능한 복잡한 DoE 문제를 해결할 수 있으며, 특히 다수의 상호의존적인 목표와 고비용 실험을 수반하는 환경에서 유용하다.
• 이론적 분석을 통해 MPS는 추정 오차(미로픽 정책 학습)와 근사 오차(전역 최적 정책 근사)를 모두 통제하며, 통합된 성능 경계를 제공한다.
• 이 프레임워크는 확장 가능하며, 워커 수에 대해 약한 의존성을 보이며, 대규모 DoE 응용에 적합하다.