[논문 리뷰] Bayesian Optimization for Probabilistic Programs

Tom Rainforth, Tuan Le외 3명|arXiv (Cornell University)|2017. 07. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 19인용 수 3

한 줄 요약

이 논문은 소스코드 인식 기반 가우시안 프로세스와 문제 독립형 하이퍼프리오르를 활용하여 확률적 프로그램에서 사후 최대우도 추정(MMAP)을 위한 일반 목적의 프레임워크인 BOPP를 소개한다. BOPP는 잠재 변수를 최적화하면서 다른 변수들을 적분하여 제거함으로써 기존 도구에 비해 시뮬레이션 기반 설계 및 파라미터 튜닝 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

We present the first general purpose framework for marginal maximum a posteriori estimation of probabilistic program variables. By using a series of code transformations, the evidence of any probabilistic program, and therefore of any graphical model, can be optimized with respect to an arbitrary subset of its sampled variables. To carry out this optimization, we develop the first Bayesian optimization package to directly exploit the source code of its target, leading to innovations in problem-independent hyperpriors, unbounded optimization, and implicit constraint satisfaction; delivering significant performance improvements over prominent existing packages. We present applications of our method to a number of tasks including engineering design and parameter optimization.

연구 동기 및 목표

• 확률적 프로그래밍 시스템에서 사후 최대우도 추정(MMAP)을 위한 일반 목적의 최적화 지원 부족 문제를 해결하기 위해.
• 기존 추론 엔진을 사용하여 확률적 프로그램 내 임의의 변수 서브셋을 최적화하면서 나머지를 적분 제거할 수 있도록 하기 위해.
• 소스 코드 구조를 직접 활용하여 효율성과 견고성을 향상시킬 수 있는 베이지안 최적화 프레임워크를 개발하기 위해.
• 복잡한 시뮬레이션 기반 모델에서 비유계 최적화와 암묵적 제약 조건 충족을 지원하기 위해.
• 실세계 공학 설계 및 파라미터 최적화 작업에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 코드 변환을 통해 어떤 확률적 프로그램의 증거를 최적화를 위한 미분 가능 목적함수로 노출시킨다.
• 입력과 출력을 ±1로 스케일링하여 안정성과 일반화 능력을 향상시키는 새로운 소스코드 인식 기반 가우시안 프로세스(GP) 대체 모델을 사용한다.
• 초기화에 도메인 지식이 필요 없이 견고한 성능을 내기 위해 하이퍼파라미터에 로그노멀 프리오르를 적용하여 길이 척도와 노이즈 항목에 문제 독립형 GP 하이퍼프리오르를 정의한다.
• Anglican과 같은 기존 확률적 프로그래밍 시스템과 통합되며, ABC 우도를 사용하여 시뮬레이터 출력에 조건을 걸고 모델 증거를 추정한다.
• 기대 개선도 획득 기법을 통해 최적화를 진행하며, GP 대체 모델을 개선하고 최적의 변수 설정을 찾기 위해 확률적 프로그램을 반복적으로 평가한다.
• 암묵적 제약 조건은 확률적 프로그램의 구조와 GP가 복잡한 비선형 반응 표면을 모델링할 수 있는 능력을 통해 충족된다.

실험 결과

연구 질문

• RQ1 모델 특화 적응이 필요 없이 일반적인 확률적 프로그램에 대해 베이지안 최적화를 MMAP 추정에 효과적으로 적용할 수 있는가?
• RQ2 다양한 확률적 프로그램에 걸쳐 출시 후 즉각적인 최적화를 가능하게 하는 문제 독립형 하이퍼프리오르를 어떻게 설계할 수 있는가?
• RQ3 소스코드 인식이 시뮬레이션 기반 추론 환경에서 베이지안 최적화의 효율성과 수렴 속도를 얼마나 향상시킬 수 있는가?
• RQ4 확률적 프로그램의 구조를 통해 비유계 최적화와 암묵적 제약 조건 충족을 자연스럽게 처리할 수 있는가?
• RQ5 실세계 공학 및 머신러닝 작업에서 기존 최적화 패키지 대비 제안된 방법의 성능은 어떠한가?

주요 결과

• BOPP는 시뮬레이션 기반 공학 설계 작업에서 주요 기존 최적화 패키지에 비해 뚜렷한 성능 향상을 달성했다.
• 프레임워크는 주거용 난방 시뮬레이션에서 라디에이터의 전력 할당을 성공적으로 최적화하여 8개 지점의 온도 변동성을 줄였으며, 열 분포의 균일성을 향상시켰다.
• 100회 반복 후 BOPP는 무작위 초기화보다 더 균일한 온도 분포를 생성하는 설정을 발견했으며, 그 결과는 그림 1의 시각화 히트맵으로 확인되었다.
• 그림 1의 증거 수렴도 그래프는 모델 증거의 안정적이고 단조로운 향상을 보여주었으며, 중앙값 증거는 증가하고 1분위수와 3분위수 간격은 수축했다.
• 문제 독립형 하이퍼프리오르의 사용은 수동 튜닝 없이도 효과적인 최적화를 가능하게 하여 다양한 문제 규모와 구조에서 견고성을 입증했다.
• ABC 우도와의 통합을 통해 목표 결과에서의 차이를 모델링함으로써 결정론적 시뮬레이터에서도 유틸리티 평가를 효과적으로 수행했으며, 이는 확률적 환경에서의 MMAP 추정을 가능하게 했다.