[논문 리뷰] Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems.

Samuel Kim, Peter Y. Lu외 4명|arXiv (Cornell University)|2021. 04. 23.

Machine Learning in Materials Science참고 문헌 7인용 수 4

한 줄 요약

이 논문은 과학적 문제에서 구조적 데이터와 보조 정보를 활용하는 베이지안 최적화(Bayesian optimization, BO)에 스케일러블하고 유연한 서rogate 모델로 베이지안 신경망(Bayesian Neural Networks, BNNs)을 제안한다. BNN의 복잡한 패턴을 모델링하고 알려진 대칭성 또는 중간 단계의 데이터를 통합할 수 있는 능력을 활용하여, 광학 결정의 구조 최적화 및 분자의 물성 최적화를 포함한 물리학 및 화학 분야의 최적화 과제에서 기존의 가우시안 프로세스(Gaussian Processes, GPs)보다 더 높은 샘플링 효율성과 낮은 계산 비용을 달성한다.

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely black-box. The data may have some known structure, e.g. symmetries, and the data generation process can yield useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and struggle to incorporate known structure or auxiliary information. Instead, we propose performing BO on complex, structured problems by using Bayesian Neural Networks (BNNs), a class of scalable surrogate models that have the representation power and flexibility to handle structured data and exploit auxiliary information. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that BNNs often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

연구 동기 및 목표

• 대규모이고 구조적인 과학적 문제에 대해 기존의 가우시안 프로세스(Gaussian Processes, GPs)가 베이지안 최적화(BO)에서 가지는 한계를 해결하기 위해.
• 최적화 과정에서 알려진 구조적 성질(예: 대칭성 등)과 보조 정보를 효과적으로 활용할 수 있도록 하기 위해.
• 복잡한 데이터(예: 그래프 및 이미지 등)를 다룰 수 있는 동시에 불확실성 추정을 유지하는 스케일러블하고 민감한 서rogate 모델링 방법을 개발하기 위해.
• 실제 과학적 응용에 있어 베이지안 최적화의 샘플링 효율성을 향상시키고 계산 비용을 감소시키기 위해.
• 광학 결정 설계 및 분자의 물성 최적화와 같은 물리학 및 화학 분야의 도전적인 문제들에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 기존의 가우시안 프로세스(Gaussian Processes, GPs)를 대체하여, 베이지안 최적화에서 베이지안 신경망(Bayesian Neural Networks, BNNs)을 서rogate 모델로 사용하기 위해.
• 복잡한 구조적 데이터(예: 컨volutional 그리드, 예: 광학 결정)와 그래프 구조적 데이터(예: 분자)를 모델링할 수 있는 BNN의 표현 능력을 활용하기 위해.
• 학습 중에 보조 정보(예: 중간 출력 또는 구조적 대칭성 등)를 직접 BNN 아키텍처에 통합하기 위해.
• BNN에서 추정한 불확실성 정보를 활용하여 활성 학습의 획득 함수(예: 기대 개선도(Expected Improvement))를 적용하여 최적화 과정을 이끌기 위해.
• 확장 가능한 대규모 데이터셋에 대응하기 위해 변분 추론(variational inference)를 사용하여 BNN을 훈련함으로써 불확실성 추정을 유지하기 위해.
• 도메인 특화의 인덕티브 바이어스를 반영하기 위해 구조적 신경망 아키텍처(예: 공간 데이터에 대한 CNN, 분자의 그래프에 대한 GNN)를 사용하기 위해.

실험 결과

연구 질문

• RQ1 베이지안 신경망(Bayesian Neural Networks, BNNs)은 과학적 문제에 대한 베이지안 최적화에서 기존의 가우시안 프로세스(Gaussian Processes, GPs)보다 서rogate 모델로 더 우수한 성능을 보일 수 있는가?
• RQ2 BNNs는 최적화 과제에서 알려진 구조적 성질과 보조 정보를 얼마나 효과적으로 통합할 수 있는가?
• RQ3 BNNs의 사용은 실생활 과학적 최적화 과제에서 GPs에 비해 더 높은 샘플링 효율성과 낮은 계산 비용을 제공하는가?
• RQ4 BNNs는 불확실성 추정을 유지하면서 대규모 데이터셋에 얼마나 잘 스케일링되는가?
• RQ5 BNN 기반의 BO는 광학 결정의 구조 최적화 및 분자의 물성 최적화와 같은 복잡한 과학 문제에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• BNNs는 복잡한 과학적 최적화 과제에서 GPs보다 더 높은 샘플링 효율성을 보이며, 최적의 해를 찾기 위해 필요한 함수 평가 횟수를 감소시켰다.
• BNNs의 사용은 보조 정보 및 구조적 사전 지식(예: 대칭성 등)을 최적화 과정에 효과적으로 통합할 수 있도록 했다.
• BNNs는 GPs보다 더 큰 데이터셋에 대해 더 효과적으로 스케일링되며, 실생활 과학적 응용에서 계산 가능성을 유지한다.
• 컨volutional 신경망을 사용한 광학 결정의 구조 최적화 과제에서, BNN 기반의 BO는 GPs 기반의 BO보다 더 빠른 수렴과 향상된 성능을 달성했다.
• 그래프 신경망을 사용한 분자의 물성 최적화 과제에서, BNNs는 GPs에 비해 뛰어난 샘플 효율성과 낮은 계산 비용을 보였다.
• 변분 추론을 통해 불확실성 추정을 유지함으로써, BO에서 신뢰할 수 있는 탐색-이용 균형을 확보할 수 있었다.