[論文レビュー] An iteration count estimate for a mesh-dependent steepest descent method based on finite elements and Riesz inner product representation

Tobias Schwedes, Simon W. Funke+1 more|arXiv (Cornell University)|Jun 26, 2016

Advanced Numerical Methods in Computational Mathematics参考文献 9被引用数 12

ひとこと要約

本稿は、ヒルバート空間最適化問題の有限要素離散化において、ℓ²内積を用いたメッシュ依存の最急降下法の反復回数について、解析的推定値を導出する。反復回数はメッシュの非一様性に多項式的に依存するが、リーマン表現された$L^2$内積を用いることで、正確に1反復で収束することが示される。

ABSTRACT

Existing implementations of gradient-based optimisation methods typically assume that the problem is posed in Euclidean space. When solving optimality problems on function spaces, the functional derivative is then inaccurately represented with respect to $\ell^2$ instead of the inner product induced by the function space. This error manifests as a mesh dependence in the number of iterations required to solve the optimisation problem. In this paper, an analytic estimate is derived for this iteration count in the case of a simple and generic discretised optimisation problem. The system analysed is the steepest descent method applied to a finite element problem. The estimate is based on Kantorovich's inequality and on an upper bound for the condition number of Galerkin mass matrices. Computer simulations validate the iteration number estimate. Similar numerical results are found for a more complex optimisation problem constrained by a partial differential equation. Representing the functional derivative with respect to the inner product induced by the continuous control space leads to mesh independent convergence.

研究の動機と目的

• 有限要素離散化された関数空間最適化問題における勾配ベース最適化で誤った内積（ℓ²）を使用した場合の計算コストを定量化すること。
• 関数空間の内積ではなくℓ²に対して機能微分を表現することで、メッシュ依存性が生じることを示すこと。
• 一般的な有限要素設定において、ℓ²内積を用いた最急降下法の反復回数について、解析的推定値を導出すること。
• 単純な$L^2$問題とPDE制約付き最適制御問題の数値実験を通じて、理論的推定値を検証すること。
• 正しいヒルバート空間内積に関してリーマン表現された勾配を用いることで、収束がメッシュに依存しなくなることを示すこと。

提案手法

• 一般のヒルバート空間最適化問題の有限要素離散化における最急降下法の収束速度を、カントロビッチの不等式を用いて上限付ける。
• ガラーキン質量行列の条件数の上限を導出し、反復回数がメッシュ非一様性にどのように依存するかを推定する。
• リーマン表現定理を用いて、双対空間からの機能微分を正しい内積を用いて原始的関数空間へ写像する。
• ℓ²内積（メッシュ依存）と$L^2$内積（メッシュ非依存）を用いた最急降下法の収束特性を比較する。
• 単純な$L^2$最適化問題とPoisson方程式を用いたPDE制約付き最適制御問題に対して、数値実験を実施し、理論的推定値を検証する。
• 標準最適化パッケージ（Scipy, TAO, IPOPT）とメッシュ非依存パッケージ（Moola）を用い、異なる内積仮定下での反復回数を比較する。

実験結果

リサーチクエスチョン

• RQ1 ℓ²内積を$L^2$内積の代わりに使用した場合、有限要素に基づく最急降下法における反復回数にどのような影響を与えるか？
• RQ2 有限要素設定におけるメッシュ依存の最急降下法の反復回数について、解析的推定値を導出できるか？
• RQ3 ℓ²内積を用いた場合、反復回数はメッシュ非一様性にどのように依存するか？
• RQ4 正しいヒルバート空間内積に関してリーマン表現された勾配を用いることで、収束のメッシュ依存性は解消されるか？
• RQ5 標準最適化パッケージ（例：Scipy, IPOPT）は非一様メッシュに適用された場合、反復回数にどのような影響を受けるか？また、これは使用する内積に依存するか？

主な発見

• ℓ²内積を用いた最急降下法の反復回数は、メッシュにおける最大要素サイズと最小要素サイズの比$h_{\text{max}}/h_{\text{min}}$に多項式的に依存する。
• 同じ問題に対して、$L^2$内積に関してリーマン表現された勾配を用いることで、メッシュの細分化にかかわらず正確に1反復で収束する。
• 数値実験により理論的推定値が確認された：$L^2$問題において、$h_{\text{max}}/h_{\text{min}}$が4から128に増加すると、反復回数は4倍から25倍に増加する。
• 標準最適化パッケージ（例：Scipy, TAO, IPOPT）は、ℓ²内積を用いる場合、非一様メッシュにおいて顕著なメッシュ依存性を示し、反復回数が著しく増加する。
• H^1内積を尊重するMoolaのBFGS実装は、すべてのテスト非一様メッシュで4反復で収束し、メッシュ非依存の収束を達成する。
• 本研究は、メッシュ非依存性が数学的な細工ではなく、非一様メッシュを用いた大規模最適化における計算可能性のための重要な要件であることを確認した。