[논문 리뷰] Multi-Fidelity Cost-Aware Bayesian Optimization

Zahra Zanjani Foumani, Mehdi H. Shishehbor외 2명|arXiv (Cornell University)|2022. 11. 04.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 새로운 할당 함수와 맞춤형 잠재 맵 가우시안 프로세스(LMGP) 에미레이터를 사용하여 다중 신뢰도 비용 인식 베이지안 최적화 프레임워크를 제안한다. 이는 비용 효율성, 강인성 및 수렴성을 향상시킨다. 방법은 저비용이지만 심각하게 편향된 저신뢰도 자료를 자동으로 식별하고 제거함으로써 고비용의 고신뢰도 목표를 최소한의 샘플링 비용으로 최적화한다.

ABSTRACT

Bayesian optimization (BO) is increasingly employed in critical applications such as materials design and drug discovery. An increasingly popular strategy in BO is to forgo the sole reliance on high-fidelity data and instead use an ensemble of information sources which provide inexpensive low-fidelity data. The overall premise of this strategy is to reduce the overall sampling costs by querying inexpensive low-fidelity sources whose data are correlated with high-fidelity samples. Here, we propose a multi-fidelity cost-aware BO framework that dramatically outperforms the state-of-the-art technologies in terms of efficiency, consistency, and robustness. We demonstrate the advantages of our framework on analytic and engineering problems and argue that these benefits stem from our two main contributions: (1) we develop a novel acquisition function for multi-fidelity cost-aware BO that safeguards the convergence against the biases of low-fidelity data, and (2) we tailor a newly developed emulator for multi-fidelity BO which enables us to not only simultaneously learn from an ensemble of multi-fidelity datasets, but also identify the severely biased low-fidelity sources that should be excluded from BO.

연구 동기 및 목표

• 다중 신뢰도 베이지안 최적화에서 편향된 저신뢰도 데이터가 수렴을 잘못 이끌고 성능을 떨어뜨릴 수 있는 문제를 해결하기 위해.
• 신뢰도-비용 관계에 대한 사전 지식이 필요 없도록 하여 다수의 자료 소스 간 상대적 신뢰도 수준을 자동으로 학습할 수 있도록 하기 위해.
• 다중 신뢰도 자료를 함께 모델링함으로써 수치 안정성과 샘플링 효율성을 향상시키고, 신뢰도가 떨어지는 저신뢰도 자료 소스를 식별하고 제외하기 위해.
• 대부분의 샘플이 저비용이지만 편향된 저신뢰도 소스에서 올 경우에도 수렴을 보호할 수 있는 강인한 할당 함수를 개발하기 위해.
• 비용, 신뢰도, 예측 불확실성 간의 균형을 고려하여 이질적인 자료 소스 간 자원 할당을 효과적으로 가능하게 하기 위해.

제안 방법

• 각 자료 소스의 비용과 예측 불확실성을 통합한 새로운 할당 함수를 제안하여, 편향된 저신뢰도 데이터로 인한 수렴 저하를 방지한다.
• 범주형 및 수치형 입력을 공유 잠재 공간으로 매핑함으로써 다중 신뢰도 자료를 모델링하는 잠재 맵 가우시안 프로세스(LMGP) 에미레이터를 활용하여 다수의 자료 소스 간 공동 학습을 가능하게 한다.
• 학습 중에 고신뢰도 데이터와의 예측 불일치를 분석하여 심각하게 편향된 저신뢰도 자료 소스를 식별하고 제거하는 메커니즘을 도입한다.
• 모든 자료 소스에 걸쳐 상관 구조 및 척도 파라미터를 포함한 LMGP의 하이퍼파rameter를 최대우도추정(MLE)을 통해 학습한다.
• 교차 소스 상관관계를 효율적으로 모델링하면서 계산 가능성을 유지하기 위해 공분산 함수에 크로네커乘법 구조를 적용한다.
• 각 후보 점의 소스의 신뢰도, 비용, 불확실성 감소 기여도를 가중치로 고려하여 비용 인식 샘플링 결정을 통합한다.

실험 결과

연구 질문

• RQ1 저신뢰도 소스가 매우 편향되어 있어도, 특히 쿼리 비용이 매우 낮은 경우에도 다중 신뢰도 베이지안 최적화 프레임워크가 수렴성과 정확성을 유지할 수 있는가?
• RQ2 저신뢰도 데이터 소스가 심각하게 편향되어 있음을 사전 지식 없이 자동으로 식별하고 제거할 수 있는가?
• RQ3 제안된 비용 인식 할당 함수는 최신 기술에 비해 최적화 효율성과 강인성을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 사용자가 사전에 정의한 수준이 아니라 데이터에서 상대적 신뢰도 수준을 학습할 수 있는가?
• RQ5 잠재 맵 가우시안 프로세스의 통합이 다중 신뢰도 최적화에서 수치 안정성과 예측 정확도를 어떻게 향상시키는가?

주요 결과

• 제안된 LMGP CA 프레임워크는 분석 문제와 공학 문제 모두에서 최신 기술보다 더 빠른 수렴 속도와 낮은 최적화 비용을 달성한다. 이는 Borehole 함수 및 NTA/퍼로브스카이트 재료 설계 문제에 적용된 결과에서 입증된다.
• Borehole 함수에서, 기존 기반 방법이 그러한 조건에서 실패하는 것과는 달리, 심각하게 편향된 저신뢰도 소스(LF1 및 LF2)가 포함되어 있어도 이 방법은 잘못된 최적점으로 수렴하는 것을 방지한다.
• Borehole 함수에서, 단일 신뢰도 BO에 비해 상대적 평균제곱근오차(RRMSE)를 최대 90%까지 감소시켜 보다 뛰어난 서로서바 정확도를 입증한다.
• 필요한 경우 고신뢰도 샘플링을 효과적으로 우선순위로 배정함으로써 할당 함수는 저신뢰도 자료에 대한 의존도를 줄이며, 이로 인해 수렴 강인성이 유지된다.
• LMGP 에미레이터는 예측 불일치를 기반으로 편향된 자료 소스(LF1 및 LF2 등 Borehole에서의 사례)를 식별하고 제거함으로써 수동 조작 없이도 모델 신뢰성을 향상시킨다.
• 나노층상 삼성화합물(NTA) 및 헤테로제르프스카이트와 같은 공학적 응용 분야에서, 이 방법은 기존 기반 방법보다 훨씬 적은 고신뢰도 평가 수로 거의 최적 성능에 도달한다.