[論文レビュー] Multiple local minima of PDE-constrained optimisation problems via deflation

Patrick E. Farrell|arXiv (Cornell University)|Aug 30, 2015

Matrix Theory and Algorithms被引用数 1

ひとこと要約

本稿では、非凸PDE制約最適化問題における複数の局所的最小解を計算するための縮退（deflation）技術を導入する。これは、すでに求められた解を除外するためにカーラッシュ＝クーン＝タッカー（KKT）条件を変更するものである。スケーラブルなシュール補行列プリコンディショナーを用いることで、縮退後のニュートンステップにおけるKrylov反復回数は最大で2倍にしか増加しないことが証明されており、1000万自由度に達する大規模問題に対しても効率的な計算が可能である。

ABSTRACT

Nonconvex optimisation problems constrained by partial differential equations (PDEs) may permit distinct local minima. In this paper we present a numerical technique, called deflation, for computing multiple local solutions of such optimisation problems. The basic approach is to apply a nonlinear transformation to the Karush-Kuhn-Tucker optimality conditions that eliminates previously found solutions from consideration. Starting from some initial guess, Newton's method is used to find a stationary point of the Lagrangian; this solution is then deflated away, and Newton's method is initialised from the same initial guess to find other solutions. In this paper, we investigate how the Schur complement preconditioners widely used in PDE-constrained optimisation perform after deflation. We prove an upper bound on the number of new distinct eigenvalues of a matrix after an arbitrary additive perturbation; from this it follows that for diagonalisable operators the number of Krylov iterations required for exact convergence of the Newton step at most doubles compared to the undeflated problem. While deflation is not guaranteed to converge to all minima, these results indicate the approach scales to arbitrary-dimensional problems if a scalable Schur complement pre-conditioner is available. The technique is demonstrated on a discretised nonconvex PDE-constrained optimisation problem with approximately ten million degrees of freedom.

研究の動機と目的

• 非凸PDE制約最適化問題における複数の局所的最小解の課題に対処すること。
• 標準的なソルバーが最初に見つける解以外の異なる局所的解を体系的かつ系統立てて特定する数値的手法を開発すること。
• ニュートン反復の文脈において、縮退を適用した後のシュール補行列プリコンディショナーの性能を分析すること。
• 縮退後の条件数およびKrylov収束挙動に関する理論的上限を確立すること。
• 約1000万自由度の大規模問題における手法のスケーラビリティを実証すること。

提案手法

• 既に計算済みの解を考慮から除外するために、カーラッシュ＝クーン＝タッカー（KKT）系に非線形縮退変換を適用する。
• 各縮退ステップの後、同じ初期推定値から再びニュートン法を適用し、新たな停留在点に収束させる。
• PDE制約最適化で一般的に用いられるシュール補行列プリコンディショナーを用いて、大規模問題における効率性を維持する。
• 任意の加法的行列摂動によって生じる新しい固有値の個数に対する上界を導出する。
• 縮退後、ニュートンステップにおける正確な収束に必要なKrylov反復回数が最大で2倍にしか増加しないことを証明する。
• スケーリング可能なプリコンディショナーを組み合わせた、自由度が約1000万の非凸PDE制約最適化問題にこの手法を適用し、スケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 PDE制約最適化問題に縮退を効果的に適用することで、複数の局所的最小解を計算できるか？
• RQ2 大規模問題におけるニュートン反復のKrylovソルバーの収束特性に、縮退がどのように影響するか？
• RQ3 ヤコビ行列系の固有値スペクトルに、縮退が与える理論的影響、特に固有値の変化に関してはいかなるものか？
• RQ4 縮退を適用した後も、シュール補行列プリコンディショナーの有効性は保たれるか？
• RQ5 自由度が非常に大きな問題、例えば1000万程度の問題に対して、この手法はどの程度スケーリング可能か？

主な発見

• 縮退は、非凸PDE制約最適化問題において、複数の異なる局所的最小解を効果的に計算可能であることを示している。
• 対角化可能な作用素に対しても、縮退後、ニュートンステップにおける正確な収束に必要なKrylov反復回数は最大で2倍にしか増加しない。
• 任意の加法的摂動による新しい異なる固有値の個数に対する理論的上界は、この手法の頑健性を裏付けている。
• 縮退後もシュール補行列プリコンディショナーは有効であり、大規模問題におけるスケーラビリティを維持している。
• 自由度が約1000万の問題にこの手法を適用した結果、実用的なスケーラビリティが実証された。
• すべての最小解を保証してはいないが、スケーラブルなプリコンディショナーと組み合わせることで、効率的かつスケーラブルな手法である。