[論文レビュー] Taylor approximation for chance constrained optimization problems governed by partial differential equations with high-dimensional random parameters

Peng Chen, Omar Ghattas|arXiv (Cornell University)|Nov 19, 2020

Probabilistic and Robust Engineering Design参考文献 79被引用数 4

ひとこと要約

本稿では、高次元の確率的パラメータを伴う確率的制約付きPDE制約最適化問題を解くためのスケーラブルなテイラー近似ベースの手法を提案する。高次テイラー展開、ランダム化されたヘッシアン近似、滑らかさを伴うペナルティ法を用いた継続的最適化スキームを活用することで、PDEの解法回数を最大37倍まで削減しながら高い精度を維持し、地下水管理の実験において100,000次元のパrameter空間までスケーラビリティを示した。

ABSTRACT

We propose a fast and scalable optimization method to solve chance or probabilistic constrained optimization problems governed by partial differential equations (PDEs) with high-dimensional random parameters. To address the critical computational challenges of expensive PDE solution and high-dimensional uncertainty, we construct surrogates of the constraint function by Taylor approximation, which relies on efficient computation of the derivatives, low rank approximation of the Hessian, and a randomized algorithm for eigenvalue decomposition. To tackle the difficulty of the non-differentiability of the inequality chance constraint, we use a smooth approximation of the discontinuous indicator function involved in the chance constraint, and apply a penalty method to transform the inequality constrained optimization problem to an unconstrained one. Moreover, we design a gradient-based optimization scheme that gradually increases smoothing and penalty parameters to achieve convergence, for which we present an efficient computation of the gradient of the approximate cost functional by the Taylor approximation. Based on numerical experiments for a problem in optimal groundwater management, we demonstrate the accuracy of the Taylor approximation, its ability to greatly accelerate constraint evaluations, the convergence of the continuation optimization scheme, and the scalability of the proposed method in terms of the number of PDE solves with increasing random parameter dimension from one thousand to hundreds of thousands.

研究の動機と目的

• 高次元の確率的パラメータを伴う確率的制約付きPDE最適化の計算的非実行可能性に対処すること。
• 確率的制約の統計的推定に必要な高価なPDEの解法回数を削減すること。
• 従来のサンプリングベースの手法が非実行的になる高次元のパrameter空間におけるスケーラブルな最適化を可能にすること。
• 確率的制約の微分不能性にもかかわらず、信頼性の高い収束を達成する勾配ベースの最適化スキームを開発すること。
• 高次テイラー近似とランダム化された低ランクヘッシアン計算を通じて、高い精度と効率を実現すること。

提案手法

• 高次導出計算と低ランクヘッシアン近似を活用して、二次までのテイラー展開を用いた制約関数のスレーブモデルを構築する。
• 勾配ベースの最適化を可能にするために、確率的制約内の不連続なインジケータ関数の滑らかな近似を採用する。
• BFGS最適化スキームの収束を保証するため、滑らかさとペナルティパラメータを段階的に増加させる継続的最適化法を適用する。
• 高次元におけるスケーラブルな計算を可能にするために、ヘッシアンの効率的固有値分解にランダム化アルゴリズムを用いる。
• テイラー展開を用いて近似コスト関数の勾配を導出することで、効率的な最適化を実現する。
• テイラー近似とペナルティ法を組み合わせることで、不等式制約問題を勾配ベースのソルバに適した無制約問題に変換する。

Figure 1: Left: Smooth approximation of the discontinuous indicator function ${\mathbb{I}}_{[0,\infty)}(x)$ by a logistic function $\ell_{\beta}(x)=\frac{1}{1+e^{-2\beta x}}$ with $\beta>0$ . Right: Penalty function $\mathcal{S}_{\gamma}(x)=\frac{\gamma}{2}(\max\{0,x\})^{2}$ with $\gamma>0$ .

実験結果

リサーチクエスチョン

• RQ1 高次テイラー近似は、高次元の不確実性を伴うPDE制約最適化において、高価な確率的制約を効果的かつ効率的に代替できるか？
• RQ2 確率的パラメータ空間の次元が増加するに従い、PDEの解法回数と最適化反復回数の観点から、提案手法はどのようにスケーリングするか？
• RQ3 滑らかなペナルティ法と適応的パラメータを用いた継続的最適化スキームは、精度を維持しつつ収束を達成できるか？
• RQ4 定数、線形、二次のテイラー近似を用いる際の、近似精度と計算コストのトレードオフはいかほどか？
• RQ5 ランダム化されたヘッシアン近似と低ランク分解は、計算コストを削減しながらも、精度をどの程度維持できるか？

主な発見

• 二次テイラー近似は、1024サンプルを用いたSAA（標本平均近似）と比較して、2桁の高い精度を達成しながら、PDEの解法回数を1/37にまで削減した。
• SAAと比較して、PDEの解法回数を約37倍のスピードアップで削減した。PDEがより高価である場合やサンプル数が多い場合、より高いスピードアップが得られた。
• 確率的パラメータの次元が1,089から100,000に増加しても、PDEの解法回数はほぼ一定のままであり、強力なスケーラビリティを示した。
• 滑らかさとペナルティパラメータを段階的に増加させても、最適化の収束は頑健かつ安定しており、反復回数は一貫していた。
• ヘッシアン近似の固有値の減衰特性は、次元が異なる場合でも類似しており、低ランク近似のスケーラビリティが確認された。
• 二次テイラー近似による最適設計は、SAAによるものと変数値および関心領域における圧力分布の低減の両面で非常に近い結果を示した。

Figure 2: Groundwater flow in physical domain $(0,1)^{2}$ . Blue dots stand for the location of the extraction wells. A velocity field $\mathbf{v}$ is shown at the mean of the log-permeability $m=\bar{m}$ and optimal variable $z^{*}$ , which is obtained with quadratic approximation of the constraint