[論文レビュー] On the Globalization of ASPIN Employing Trust-Region Control Strategies -- Convergence Analysis and Numerical Examples

Christian Groß, Rolf Krause|arXiv (Cornell University)|Apr 12, 2021

Matrix Theory and Algorithms参考文献 18被引用数 5

ひとこと要約

本稿では、信頼領域フレームワーク内にASPIN（加法的プリコンディショニング不正確ニュートン）法を埋め込むことで、グローバルに収束する並列非線形最適化手法—G-ASPIN—を提案する。非線形プリコンディショニングの影響を二次的な信頼領域半径で制御することにより収束を保証し、非同期な局所解法を維持しつつ十分な減少を達成する。本手法は、数千コアを用いた大規模非線形弾性問題において、標準的な信頼領域手法と比較して顕著な高速化を達成する。

ABSTRACT

The parallel solution of large scale non-linear programming problems, which arise for example from the discretization of non-linear partial differential equations, is a highly demanding task. Here, a novel solution strategy is presented, which is inherently parallel and globally convergent. Each global non-linear iteration step consists of asynchronous solutions of local non-linear programming problems followed by a global recombination step. The recombination step, which is the solution of a quadratic programming problem, is designed in a way such that it ensures global convergence. As it turns out, the new strategy can be considered as a globalized additively preconditioned inexact Newton (ASPIN) method. However, in our approach the influence of ASPIN's non-linear preconditioner on the gradient is controlled in order to ensure a sufficient decrease condition. Two different control strategies are described and analyzed. Convergence to first-order critical points of our non-linear solution strategy is shown under standard trust-region assumptions. The strategy is investigated along difficult minimization problems arising from non-linear elasticity in 3D solved on a massively parallel computer with several thousand cores.

研究の動機と目的

• 非線形PDEの離散化から生じる大規模非線形プログラミング問題に対して、グローバルに収束する、本質的に並列な手法を開発すること。
• 元のASPIN法にはグローバル収束保証がないこと、強い初期近傍性仮定のもとでの局所収束しか保証しないことに対処すること。
• グローバル収束を保ちつつ、非同期な局所サブプロブレムの効率的解法を可能にする信頼領域制御を用いること。
• 目的関数の十分な減少を保証するため、非線形プリコンディショニングが勾配に与える影響を制御する制御機構を設計すること。

提案手法

• ASPINのニュートンステップを摂動付き二次計画モデルの一次条件と解釈することで、信頼領域のグローバライゼーションを可能にする。
• 非線形プリコンディショナーが勾配に与える影響を制御するため、二次的で局所的な信頼領域半径を導入し、摂動が信頼領域サイズに対して有界に保たれることを保証する。
• 摂動制御基準を満たすプリコンディショニング勾配を計算する2つの戦略を提案：変更された局所信頼領域法と減衰手法。
• グローバル補正は、プリコンディショニング勾配を用いて信頼領域サブプロブレムを解くことで計算され、十分な減少とグローバル収束を保証する。
• 局所非線形サブプロブレムは非同期かつ並列に解かれ、グローバルな二次計画ステップにより再結合される。
• フレームワークは信頼領域アルゴリズムに埋め込まれており、凸性を仮定せずとも標準的な収束仮定を活用できる。

実験結果

リサーチクエスチョン

• RQ1 ASPIN法は、並列性と非同期性を保ったまま、グローバルに一般化可能か？
• RQ2 非線形プリコンディショニングが勾配に与える影響をどのように制御すれば、十分な減少とグローバル収束を保証できるか？
• RQ3 局所的な非同期解法による勾配摂動が生じる状況でも、収束を維持するための信頼領域戦略は何か？
• RQ4 大規模非線形問題において、本手法は標準的な信頼領域手法と比較して、効率性とロバスト性に優れているか？
• RQ5 大規模並列アーキテクチャ上でも、収束性を損なわずに顕著な高速化を達成できるか？

主な発見

• G-ASPIN手法は、標準的な信頼領域仮定のもとで、凸性を仮定せずとも、一次の臨界点へのグローバル収束を達成する。
• 828,864の未知数を有する3次元非線形弾性問題において、G-ASPINは32コアで信頼領域法の3,323.96秒から2,576.61秒へと全体の計算時間を短縮した。
• 64コアでは、G-ASPINは2,211.23秒にまで短縮されたが、信頼領域法（1,805.94秒）よりも遅延が大きかったにもかかわらず、性能を上回った。
• 非線形反復回数の観点からも収束が速く、プロセッサ数を増加させると反復回数が顕著に減少し、スケーラビリティの向上が示された。
• 数値結果により、G-ASPINは信頼領域法と同じ最小値に収束することが確認され、正確性とロバスト性が裏付けられた。
• 二次的な信頼領域半径の使用により、非同期な局所解法による勾配摂動が効果的に制御され、安定的かつ効率的なグローバル収束が実現された。