[論文レビュー] Secant acceleration of sequential residual methods for solving large-scale nonlinear systems of equations

Ernesto G. Birgin, J. M. Martı́nez|arXiv (Cornell University)|Dec 24, 2020

Advanced Optimization Algorithms Research参考文献 51被引用数 4

ひとこと要約

本稿では、逐次残差法にセカントに基づく加速技術を組み込んだことで、大規模非線形方程式系を解くためのDF-SANEアルゴリズムの高速化版を提案する。本手法は、過去の反復点を活用して収束を改善することで、反復回数と計算時間を削減し、特に困難な問題に対して顕著な高速化を達成する。特に、高い条件数を示す3次元Bratu問題において、NITSOLに比べて最大10倍の高速化を実現した。

ABSTRACT

Sequential Residual Methods try to solve nonlinear systems of equations $F(x)=0$ by iteratively updating the current approximate solution along a residual-related direction. Therefore, memory requirements are minimal and, consequently, these methods are attractive for solving large-scale nonlinear systems. However, the convergence of these algorithms may be slow in critical cases; therefore, acceleration procedures are welcome. In this paper, we suggest to employ a variation of the Sequential Secant Method in order to accelerate Sequential Residual Methods. The performance of the resulting algorithm is illustrated by applying it to the solution of very large problems coming from the discretization of partial differential equations.

研究の動機と目的

• 逐次残差法（SRM）が、バックトラッキングが頻繁に発生する大規模非線形方程式系において収束が遅い問題に対処すること。
• 残差評価回数とメモリ使用量を最小限に抑えつつ収束速度を向上させる効率的な加速技術を開発すること。
• 残差関連方向を用いたセカントベースの加速を組み込んだDF-SANEのグローバル収束理論を拡張すること。
• 特に、標準的手法が困難な高条件数領域において、大規模PDE離散化問題における性能を評価すること。
• 反復回数、関数評価回数、CPU時間の観点から、加速手法をNITSOLおよび標準DF-SANEと比較すること。

提案手法

• 非残差だが残差関連の探索方向を許容する一般化された逐次残差法を導入し、柔軟性と収束性を向上させる。
• 複数点セカント法を用いて、過去の反復点と残差の差分を用いて逆ヤコビ行列を近似し、正確なヤコビ行列計算の必要性を低減する。
• パラメータ $ p $ を用いた可変メモリセカント更新戦略を採用し、近似に使用する過去の反復点の数を制御する。
• 十分な降下条件を満たすラインサーチを適用し、グローバル収束を保証するとともに、関数評価回数を最小限に抑える。
• 初期反復における収束を向上させるために、スペクトル（Barzilai-Borweinに類似）原理に基づく動的ステップサイズ選択を実装する。
• 加速手法をDF-SANEフレームワークに統合し、加速DF-SANEを構築。理論的収束保証を新バージョンに拡張した。

実験結果

リサーチクエスチョン

• RQ1 セカントベースの加速は、大規模非線形方程式系における逐次残差法の反復回数および関数評価回数を顕著に削減できるか？
• RQ2 困難なPDE離散化問題において、加速手法の性能はNITSOLおよび標準DF-SANEと比べてどうか？
• RQ3 メモリパラメータ $ p $ が加速手法の収束速度と計算コストに与える影響は何か？
• RQ4 加速手法はグローバル収束を維持しながら、局所的収束速度を向上させられるか？
• RQ5 特に $ \theta $ が負で絶対値が大きな場合、すなわち $ \theta $ が負で大きな値をとるBratu問題において、本手法の性能はいかがなものか？

主な発見

• 3次元Bratu問題において $ n_p = 40 $ および $ \theta = -100 $ の場合、加速DF-SANEはNITSOLに比べてCPU時間で約1桁の高速化を達成し、1000秒未塔で収束した一方、NITSOLは10,000秒以上を要した。
• $ \theta \geq -20 $ の範囲では両手法の性能がほぼ同等であり、NITSOLがわずかに速かったが、$ \theta < -20 $ の範囲では加速DF-SANEが顕著な優位性を示した。特に、高条件数領域で顕著な差が見られた。
• パラメータ $ p $ を3から17に増加させても、加速DF-SANEの反復回数はほぼ一定であり、テスト範囲内で最大で20%の変動にとどまった。
• 反復ごとのCPU時間は $ p $ の増加に伴い増加し、測定された線形フィット $ L(p) \approx 4.08 + 1.01p $ より、$ p=3 $ から $ p=17 $ に至るまでの時間コストは約300%増加した。
• 最も困難なケース（$ \theta = -100 $）において、DF-SANEは数時間以上を要して収束しなかったが、加速DF-SANEは1000秒未塔で停止基準を満たした。
• 困難な問題において、加速DF-SANEの関数評価回数はNITSOLよりも常に低く抑えられており、1反復あたりのコストが高めでも、評価オーバーヘッドが削減されていることが確認された。