[논문 리뷰] Convergence Certificate for Stochastic Derivative-Free Trust-Region Methods based on Gaussian Processes

Harsh Shukla, Tafarel de Avila Ferreira외 3명|arXiv (Cornell University)|2020. 10. 02.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스(GPs)가 확률적으로 완전선형임을 증명함으로써, 확률적 비미분 자유 신뢰영역 방법의 전역 수렴을 가능하게 한다. GPs 대체모델이 완전선형임을 인증함으로써, 더 적은 식물 평가 수로 빠르고 전역 수렴 가능한 최적화를 보장하며, 노이즈가 많고 불확실한 동역학을 보이는 화학 반응기 배치 공정에서 이를 입증하였다.

ABSTRACT

In many machine learning applications, one wants to learn the unknown objective and constraint functions of an optimization problem from available data and then apply some technique to attain a local optimizer of the learned model. This work considers Gaussian processes as global surrogate models and utilizes them in conjunction with derivative-free trust-region methods. It is well known that derivative-free trust-region methods converge globally---provided the surrogate model is probabilistically fully linear. We prove that \glspl{gp} are indeed probabilistically fully linear, thus resulting in fast (compared to linear or quadratic local surrogate models) and global convergence. We draw upon the optimization of a chemical reactor to demonstrate the efficiency of \gls{gp}-based trust-region methods.

연구 동기 및 목표

• GPs 기반 비미분 자유 최적화의 이론적 수렴 보장을 위한 부족을 해결하기 위해, GPs의 완전선형 성질을 인증하는 것.
• 알 수 없는 또는 노이즈가 있는 目적 함수를 위한 GPs를 대체모델로 사용할 때, 신뢰영역 방법의 전역 수렴을 보장하는 것.
• 실시간 최적화에서 비용이 많이 드는 식물 평가 횟수를 줄이기 위해, 인증된 정확도를 가진 GPs 대체모델을 활용하는 것.
• 구조적 모델 불일치가 있는 노이즈가 많고 불확실한 화학 배치 반응기 공정에서 방법의 효과성을 입증하는 것.
• 확률적이고 비미분 자유 신뢰영역 최적화에 GPs를 사용할 경우, 거의 확실한 수렴 보장을 위한 이론적 기반을 제공하는 것.

제안 방법

• 알 수 없는, 노이즈가 있는 목적 함수 및 제약 함수를 근사하기 위해 가우시안 프로세스(GPs)를 전역 대체모델로 사용하는 것.
• GPs 예측값과 불확실성에 기반해 신뢰영역을 반복적으로 개선하는 확률적 비미분 자유 신뢰영역 방법을 적용하는 것.
• 신뢰영역 내에서 근사 오차의 경계를 증명함으로써, GPs가 확률적으로 완전선형임을 인증하는 것.
• 과적합을 방지하기 위해 기존 점들로부터 충분히 떨어진 점들만 GPs 모델에 포함하는 것.
• 수렴을 보장하기 위해 반경 조정을 적응적으로 수행하는 신뢰영역 알고리즘을 사용하며, 이는 η, γ_dec, γ_inc, Δ₀ 기반으로 이루어진다.
• 제약 위반을 비용 함수에 페널티를 적용함으로써 제약 조건을 포함한 최적화 문제를 비제약 최적화 문제로 재구성하는 것.

실험 결과

연구 질문

• RQ1 가우시안 프로세스가 공식적으로 확률적으로 완전선형임을 인증할 수 있는가? 이는 신뢰영역 방법의 전역 수렴을 위한 핵심 조건이다.
• RQ2 비미분 자유 신뢰영역 최적화에서 GPs를 전역 대체모델로 사용할 경우, 국소 모델보다 더 빠른 수렴과 더 적은 함수 평가 횟수를 달성할 수 있는가?
• RQ3 실세계 최적화 문제에서 모델 불일치와 노이즈 있는 측정치가 존재할 경우, GPs 기반 신뢰영역 방법의 성능은 어떠한가?
• RQ4 모델 재학습 없이도 시스템 동역학의 돌연한 변화에 적응할 수 있는가?
• RQ5 GPs 대체모델을 사용할 경우, 확률적이고 비미분 자유 신뢰영역 최적화의 이론적 수렴 보장은 무엇인가?

주요 결과

• 논문은 가우시안 프로세스가 확률적으로 완전선형임을 증명함으로써, GPs를 사용하는 신뢰영역 방법의 전역 수렴을 위한 이론적 기반을 확립하였다.
• 화학 반응기 사례 연구에서, 모델 불일치와 노이즈가 존재함에도 불구하고, GPs 기반 신뢰영역 방법은 단 3회 반복 내에 거의 식물 최적해에 도달하였다.
• 진짜 반응 동역학이 가정된 모델과 다를 때인 시나리오 II에서, GPs의 새로운 동역학 학습 능력 덕분에 모델 기반 최적화보다 상당히 뛰어난 성능을 보였다.
• GPs 모델은 재초기화 없이도 시스템 행동의 변화(예: 시나리오 I에서 II로 전환)에 신속히 적응하여 높은 성능를 유지하였다.
• 국소 대체모델보다 GPs를 사용할 경우 더 적은 수의 신뢰영역 반복이 필요하여, 비용이 많이 드는 식물 평가 횟수를 줄였다.
• 함수 제약의 타당성을 유지하면서도, 5%의 덧셈 가우시안 노이즈가 존재하는 상황에서도 진짜 식물 최적해에 가까운 해로 수렴하였다.