[논문 리뷰] Taylor approximation for chance constrained optimization problems governed by partial differential equations with high-dimensional random parameters

Peng Chen, Omar Ghattas|arXiv (Cornell University)|2020. 11. 19.

Probabilistic and Robust Engineering Design참고 문헌 79인용 수 4

한 줄 요약

이 논문은 고차원 난수 매개변수를 가진 확률제약을 가진 PDE-제약 최적화 문제를 해결하기 위한 확장 가능한 테일러 급수 기반 방법을 제안한다. 고차항 테일러 전개, 랜덤화된 헤시안 근사, 그리고 부드러운 페널티 방법을 사용하는 계속성 최적화 기법을 통해, PDE 해법 횟수를 최대 37배 감소시키면서도 높은 정확도를 유지하며, 지하수 관리 실험에서 100,000차원 매개변수 공간까지의 확장성도 입증한다.

ABSTRACT

We propose a fast and scalable optimization method to solve chance or probabilistic constrained optimization problems governed by partial differential equations (PDEs) with high-dimensional random parameters. To address the critical computational challenges of expensive PDE solution and high-dimensional uncertainty, we construct surrogates of the constraint function by Taylor approximation, which relies on efficient computation of the derivatives, low rank approximation of the Hessian, and a randomized algorithm for eigenvalue decomposition. To tackle the difficulty of the non-differentiability of the inequality chance constraint, we use a smooth approximation of the discontinuous indicator function involved in the chance constraint, and apply a penalty method to transform the inequality constrained optimization problem to an unconstrained one. Moreover, we design a gradient-based optimization scheme that gradually increases smoothing and penalty parameters to achieve convergence, for which we present an efficient computation of the gradient of the approximate cost functional by the Taylor approximation. Based on numerical experiments for a problem in optimal groundwater management, we demonstrate the accuracy of the Taylor approximation, its ability to greatly accelerate constraint evaluations, the convergence of the continuation optimization scheme, and the scalability of the proposed method in terms of the number of PDE solves with increasing random parameter dimension from one thousand to hundreds of thousands.

연구 동기 및 목표

• 고차원 난수 매개변수를 가진 확률제약 PDE 최적화의 계산 불가능성 문제를 해결하기 위해.
• 확률제약의 통계적 추정을 위해 필요한 고비용 PDE 해법 횟수를 줄이기 위해.
• 기존의 샘플링 기반 방법이 비가능해지는 고차원 매개변수 공간에서의 확장 가능한 최적화를 가능하게 하기 위해.
• 확률제약의 비미분 가능성에도 불구하고 안정적으로 수렴하는 기울기 기반 최적화 기법을 개발하기 위해.
• 고차항 테일러 근사와 랜덤화된 낮은 질량 헤시안 계산을 통해 높은 정확도와 효율성을 달성하기 위해.

제안 방법

• 고효율적 도함수 계산과 낮은 질량 헤시안 근사를 활용하여, 제약 함수의 서로서티 모델을 이차항까지의 테일러 근사를 통해 구축한다.
• 기울기 기반 최적화를 가능하게 하기 위해 확률제약 내의 불연속적인 지표 함수에 대한 부드러운 근사를 적용한다.
• BFGS 최적화 기법의 수렴을 보장하기 위해 부드러운 정도와 페널티 매개변수를 점진적으로 증가시키는 계속성 방법을 적용한다.
• 고차원에서의 확장 가능한 계산을 가능하게 하기 위해 헤시안의 효율적 고유값 분해를 위한 랜덤 알고리즘을 사용한다.
• 테일러 전개를 통해 근사된 비용 기능의 기울기를 유도하여 효율적 최적화를 가능하게 한다.
• 테일러 근사와 페널티 방법을 조합하여 부등식 제약 문제를 기울기 기반 해법기에서 사용할 수 있는 무제약 문제로 변환한다.

Figure 1: Left: Smooth approximation of the discontinuous indicator function ${\mathbb{I}}_{[0,\infty)}(x)$ by a logistic function $\ell_{\beta}(x)=\frac{1}{1+e^{-2\beta x}}$ with $\beta>0$ . Right: Penalty function $\mathcal{S}_{\gamma}(x)=\frac{\gamma}{2}(\max\{0,x\})^{2}$ with $\gamma>0$ .

실험 결과

연구 질문

• RQ1 고차항 테일러 근사는 고차원 불확실성을 가진 PDE-제약 최적화 문제에서 고비용 확률제약을 효과적이고 효율적으로 근사할 수 있는가?
• RQ2 난수 매개변수 공간의 차원이 증가함에 따라, PDE 해법 횟수와 최적화 반복 횟수 측면에서 제안된 방법의 확장성은 어떻게 나타나는가?
• RQ3 부드러운 페널티와 적응형 매개변수를 가진 계속성 최적화 기법은 정확도를 유지하면서도 수렴을 달성할 수 있는가?
• RQ4 상수, 선형, 이차 테일러 근사 사용 시 정확도 근사와 계산 비용 간의 상호 교환 관계는 어떠한가?
• RQ5 랜덤화된 헤시안 근사와 낮은 질량 분해는 계산 비용을 줄이면서도 정확도를 유지할 수 있는가?

주요 결과

• 이차 테일러 근사는 1024개의 표본을 사용한 표본 평균 근사(SAA)보다 두 개의 지수 정도 더 높은 정확도를 달성하면서도, PDE 해법 횟수는 1/37로 줄였다.
• SAA 대비 약 37배의 속도 향상을 보였으며, 더 비싼 PDE나 더 큰 표본 수일수록 더 높은 속도 향상이 나타났다.
• 난수 매개변수 차원이 1,089에서 100,000으로 증가함에 따라 PDE 해법 횟수가 거의 일정하게 유지되어 강력한 확장성을 입증했다.
• 부드러운 정도와 페널티 매개변수를 점진적으로 증가시키는 과정에서 최적화 수렴이 안정적이고 견고했으며, 반복 횟수도 일관되었다.
• 다양한 차원에서 헤시안 근사의 고유값 감쇠 특성은 유사하게 유지되어 낮은 질량 근사의 확장성 확인했다.
• 이차 테일러 근사를 통해 도출된 최적 설계는 SAA 결과와 변수 값과 관심 영역 내 압력 분포 감소 측면에서 거의 동일하게 일치했다.

Figure 2: Groundwater flow in physical domain $(0,1)^{2}$ . Blue dots stand for the location of the extraction wells. A velocity field $\mathbf{v}$ is shown at the mean of the log-permeability $m=\bar{m}$ and optimal variable $z^{*}$ , which is obtained with quadratic approximation of the constraint