[논문 리뷰] Deep Learning for Bayesian Optimization of Scientific Problems with High-Dimensional Structure

Samuel Kim, Peter Y. Lu외 4명|arXiv (Cornell University)|2021. 04. 23.

Machine Learning in Materials Science인용 수 11

한 줄 요약

이 논문은 고차원 과학적 문제에서 베이지안 최적화(BO)의 스케일러블하고 구조적인 서rogate 모델로 베이지안 신경망(BNNs)을 사용하는 것을 제안한다. 이는 전통적인 가우시안 프로세스(GPs)보다 샘플링 효율성과 계산 비용 측면에서 뛰어나다. 특히, 컨볼루션 신경망을 사용한 광학 격자 구조 최적화와 그래프 신경망을 사용한 분자 성질 예측에서 성공을 거두었으며, BNNs가 인덕티브 바이어스와 보조 데이터를 효과적으로 활용해 최적화 성능을 향상시킨다.

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely a black-box. The data may have some known structure (e.g. symmetries) and/or the data generation process may be a composite process that yields useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and do not easily accommodate known structure. Instead, we use Bayesian neural networks, a class of scalable and flexible surrogate models with inductive biases, to extend BO to complex, structured problems with high dimensionality. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that neural networks often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

연구 동기 및 목표

• 베이지안 최적화에서 고차원이고 구조적인 과학 데이터에 대해 가우시안 프로세스의 확장성에 한계가 있음을 해결하기 위해.
• 구조적 인덕티브 바이어스(예: 대칭성, 불변성 등)와 보조 정보를 서rogate 모델에 통합하여 최적화 효율성을 향상시키기 위해.
• 실제 물리 및 화학 문제에서 BNNs가 샘플링 효율성과 계산 비용 측면에서 GPs를 능가할 수 있음을 입증하기 위해.
• 사전 훈련된 모델이 필요 없이 이미지 및 분자 그래프와 같은 복잡하고 고차원의 입력에 대해 BO를 가능하게 하기 위해.
• 나노입자 산란 및 QM9 분자 성질을 포함한 다양한 과학 데이터셋에서 BNN 기반 BO의 강건성과 성능을 평가하기 위해.

제안 방법

• GPs에 비해 확장성과 유연성이 뛰어난 BNNs를 BO의 서rogate 모델로 활용한다.
• 공간적으로 구조화된 입력(예: 광학 격자 설계)을 모델링하기 위해 컨볼루션 신경망(CNNs)을 사용한다.
• 분자 그래프를 모델링하고 그래프 구조 데이터로부터 화학 성질을 예측하기 위해 그래프 신경망(GNNs)을 적용한다.
• 시뮬레이션에서 유도된 보조 또는 중간 출력(예: 전체 산란 스펙트럼, 다중 양자 성질)을 활용해 서rogate 모델링과 최적화 성능을 향상시킨다.
• 변분 추론과 확률적 경량 히스토그램 몬테카를로(SGHMC)를 통한 불확실성 인식 훈련을 구현해 사후 분포를 근사한다.
• 실제 과학 데이터셋에서 GPs, 앙상블 및 비베이지안 방법과의 비교를 통해 BNN 기반 BO의 성능과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망은 고차원이고 구조적인 과학적 데이터에 대해 베이지안 최적화에서 가우시안 프로세스를 효과적으로 대체할 수 있는가?
• RQ2 과학적 시뮬레이션에서 유도된 보조 또는 중간 데이터의 포함이 BO에서 최적화 성능에 어떻게 기여하는가?
• RQ3 CNNs와 GNNs에 내장된 인덕티브 바이어스가 물리 및 화학 응용 분야에서 BO의 효율성과 정확도에 얼마나 기여하는가?
• RQ4 BNN 기반 BO 방법은 샘플링 효율성과 계산 비용 측면에서 GPs 및 비베이지안 최적화 기법과 비교해 어떻게 다른가?
• RQ5 랜덤 시드의 사전 훈련 또는 하이퍼파rameter 선택 등 어떤 요소가 BNN 기반 BO의 성능에 가장 큰 영향을 미치는가?

주요 결과

• BNNs는 광학 격자 구조 최적화 및 분자 성질 예측과 같은 복잡한 과학 과제에서 GPs보다 샘플링 효율성과 계산 비용 측면에서 일관되게 뛰어나다.
• 전체 산란 스펙트럼이나 다중 양자화학 성질과 같은 보조 데이터의 사용은 서rogate 모델에 추가적인 인덕티브 바이어스를 제공함으로써 최적화 성능을 크게 향상시킨다.
• 그래프 신경망과 컨볼루션 신경망은 분자 및 이미지 기반 입력의 구조적 인덕티브 바이어스를 효과적으로 포착하여 차원 축소 없이 고차원 BO를 가능하게 한다.
• VAE-GP 벤치마크의 성능은 사전 훈련된 VAE의 랜덤 시드에 매우 민감하여, 사전 훈련 품질이 하이퍼파ram터 튜닝보다 주요 요인임을 시사한다.
• BOHAMIANN과 같은 방법은 효과적인 사후 탐색 덕분에 다중 모odal 목적함수에서 뛰어난 성능을 보이지만, SGHMC 샘플링으로 인해 계산 비용이 높다.
• 무한한 너비의 신경망 근사치는 BO에서 성능이 열악하며, 이는 유한 너비의 네트워크 역학을 포착하지 못하고 하이퍼파rameter에 민감하기 때문임을 시사한다.