[논문 리뷰] Bayesian Optimization for Materials Design with Mixed Quantitative and Qualitative Variables

Yichi Zhang, Daniel W. Apley외 1명|arXiv (Cornell University)|2019. 10. 03.

Advanced Multi-Objective Optimization Algorithms인용 수 9

한 줄 요약

이 논문은 정량적 및 정성적 변수를 모두 포함하는 재료 설계를 위한 베이지안 최적화와 통합된 새로운 잠재변수 가우시안 프로세스(LVGP) 프레임워크를 제안한다. 정성적 요소를 기반이 되는 수치적 잠재변수로 매핑함으로써, 기존의 더미 변수 접근 방식보다 더 효과적으로 복잡한 상관관계를 포착할 수 있으며, 수치적 및 재료 설계 사례에서 더 높은 모델 정확도와 직관적인 시각화를 보여준다.

ABSTRACT

Although Bayesian Optimization (BO) has been employed for accelerating materials design in computational materials engineering, existing works are restricted to problems with quantitative variables. However, real designs of materials systems involve both qualitative and quantitative design variables representing material compositions, microstructure morphology, and processing conditions. For mixed-variable problems, existing Bayesian Optimization (BO) approaches represent qualitative factors by dummy variables first and then fit a standard Gaussian process (GP) model with numerical variables as the surrogate model. This approach is restrictive theoretically and fails to capture complex correlations between qualitative levels. We present in this paper the integration of a novel latent-variable (LV) approach for mixed-variable GP modeling with the BO framework for materials design. LVGP is a fundamentally different approach that maps qualitative design variables to underlying numerical LV in GP, which has strong physical justification. It provides flexible parameterization and representation of qualitative factors and shows superior modeling accuracy compared to the existing methods. We demonstrate our approach through testing with numerical examples and materials design examples. It is found that in all test examples the mapped LVs provide intuitive visualization and substantial insight into the nature and effects of the qualitative factors. Though materials designs are used as examples, the method presented is generic and can be utilized for other mixed variable design optimization problems that involve expensive physics-based simulations.

연구 동기 및 목표

• 기존의 베이지안 최적화 방법이 재료 시스템에서 정량적 및 정성적 설계 변수를 효과적으로 다룰 수 없는 한계를 해결하기 위해.
• 더미 변수 인코딩의 단점을 극복하고, 정성적 요소를 가우시안 프로세스 회귀에서 이론적으로 타당하고도 융통성 있는 방식으로 모델링하기 위한 방법을 개발하기 위해.
• 비용이 많이 들는 시뮬레이션을 수반하는 효율적인 재료 설계를 위해 제안된 잠재변수 가우시안 프로세스 모델을 베이지안 최적화 프레임워크에 통합하기 위해.
• 수치적 및 실제 재료 설계 사례 연구를 통해 본 방법의 효과성을 입증하고, 정확도와 해석 가능성 향상을 보여주기 위해.
• 비용이 많이 드는 시뮬레이션을 수반하는 혼합 변수 최적화 문제에 적용 가능한 일반적인 솔루션을 제공하기 위해.

제안 방법

• 각 정성적 요소의 수준이 연속적인 잠재공간 내의 점으로 매핑되는 잠재변수(LV) 표현 방식을 도입함으로써, 더 유연하고 물리적으로 타당한 모델링이 가능해진다.
• 잠재변수를 사용하여 새로운 가우시안 프로세스 모델을 구축함으로써, 더미 변수가 포착하지 못하는 정성적 수준 간의 복잡한 상관관계를 표현할 수 있다.
• LVGP 모델이 베이지안 최적화 프레임워크 내에 통합되어, 기대 개선도(Expected Improvement)와 같은 획득 함수를 사용해 최적의 설계를 탐색하도록 유도된다.
• 잠재변수들은 최대우도 추정을 통해 모델 훈련 중에 학습되며, 과적합을 방지하기 위해 정규화가 적용된다.
• 적절한 잠재공간의 파arameterization을 통해 이산형 및 순서형 정성적 변수를 모두 지원한다.
• 잠재변수를 저차원 공간으로 투영함으로써 정성적 요소의 영향을 직관적으로 시각화할 수 있다.

실험 결과

연구 질문

• RQ1 재료 설계에서 정량적 및 정성적 설계 요소를 모두 포함하는 혼합 변수 문제를 효과적으로 다룰 수 있도록 베이지안 최적화를 어떻게 확장할 수 있는가?
• RQ2 가우시안 프로세스 모델링에서 정성적 요소에 대해 더미 변수를 사용할 때의 한계는 무엇이며, 이를 어떻게 극복할 수 있는가?
• RQ3 표준 접근 방식에 비해 잠재변수 가우시안 프로세스 모델이 정성적 요소 수준 간의 복잡한 상관관계를 더 잘 포착할 수 있는가?
• RQ4 제안된 LVGP-베이지안 최적화 프레임워크는 재료 설계 문제에서 수렴 속도와 정확도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 잠재변수들이 정성적 설계 요소의 영향에 대해 얼마나 이해할 수 있는 통찰을 제공할 수 있는가?

주요 결과

• 모든 테스트 예제에서 표준 더미 변수 GP 접근 방식에 비해 LVGP 모델이 유의미하게 높은 모델링 정확도를 달성했으며, 예측 성능 향상이 명확하게 측정되었다.
• 잠재변수를 통해 직관적인 저차원 시각화가 가능해졌으며, 정성적 요소 수준 간의 의미 있는 패턴과 관계를 드러냈다.
• 재료 설계 사례에서 본 방법은 기준선 방법보다 더 효율적으로 최적의 재료 조성 및 가공 조건을 탐색했으며, 비용이 많이 드는 시뮬레이션 횟수를 줄였다.
• 더미 변수 인코딩이 표현하지 못한 복잡한 비선형 상관관계를 본 방법이 성공적으로 포착했다.
• 프레임워크는 강건성과 일반화 능력이 뛰어나, 합성 및 실제 재료 설계 문제 모두에서 뛰어난 성능을 보였다.
• 잠재변수의 시각화를 통해 재료 거동의 물리적 메커니즘에 대한 실질적인 통찰을 제공했으며, 설계 이해도를 향상시켰다.