[論文レビュー] Randomized linear algebra for model reduction. Part II: minimal residual methods and dictionary-based approximation

Oleg Balabanov, Anthony Nouy|arXiv (Cornell University)|Oct 31, 2019

Model Reduction and Neural Networks参考文献 53被引用数 18

ひとこと要約

本論文は、スケッチを用いて最小残差（minres）法の速度を向上させ、非線形辞書ベースの近似を可能にする、確率的線形代数フレームワークを導入する。事前に計算された辞書からオンラインで選択された部分空間に解を射影し、低次元のランダムスケッチを用いて低次元の基底と残差を圧縮することで、計算効率が高く、数値的安定性が向上したが、解の精度は高い確率で保持される。ベンチマーク問題において、速度向上が数個のオーダーにのぼる。

ABSTRACT

A methodology for using random sketching in the context of model order reduction for high-dimensional parameter-dependent systems of equations was introduced in [Balabanov and Nouy 2019, Part I]. Following this framework, we here construct a reduced model from a small, efficiently computable random object called a sketch of a reduced model, using minimal residual methods. We introduce a sketched version of the minimal residual based projection as well as a novel nonlinear approximation method, where for each parameter value, the solution is approximated by minimal residual projection onto a subspace spanned by several vectors picked (online) from a dictionary of candidate basis vectors. It is shown that random sketching technique can improve not only efficiency but also numerical stability. A rigorous analysis of the conditions on the random sketch required to obtain a given accuracy is presented. These conditions may be ensured a priori with high probability by considering for the sketching matrix an oblivious embedding of sufficiently large size. Furthermore, a simple and reliable procedure for a posteriori verification of the quality of the sketch is provided. This approach can be used for certification of the approximation as well as for adaptive selection of the size of the random sketching matrix.

研究の動機と目的

• 高次元でパラメータ依存する系におけるモデル順序低減の計算ボトルネックを解消すること。
• 悪条件または非強制的問題において、古典的ガレルキン法やminres法の限界を克服し、数値的安定性と効率性を向上させること。
• 高速で検証可能かつ安定した解の近似を実現するため、精度を損なわずに、確率的スケッチフレームワークを構築すること。
• 基底ベクトルの辞書からのオンライン選択により非線形近似を可能にし、コルモゴロフ r-幅の緩やかな減少に対処すること。
• 信頼性の高いかつ効率的なオンライン計算を実現するため、事後証明と適応的スケッチサイズ選択を提供すること。

提案手法

• スケッチを用いて、低次元の表現に低次元の基底ベクトルと残差ベクトルを圧縮する。
• スケッチされた最小残差射影を適用し、スケッチから近似解を計算することで、全次元の演算を回避する。
• 各パラメータ値に対して、辞書からオンラインで選択されたベクトルが張る部分空間に解を射影する、新しい非線形近似法を導入する。
• 精度を高い確率で保証するために、オーブリビアス部分空間埋め込み（例：SRHT または ガウス行列）を用い、スケッチサイズを適切に選択する。
• スケッチ品質の事後証明手順を提供し、誤差境界に基づいてスケッチサイズを適応的に選択する。
• スケッチのアフィン分解を用いて、多様な計算アーキテクチャにわたる効率的な事前計算とオンライン評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スケッチを用いた確率的アプローチが、モデル順序低減における最小残差法に効果的に適用可能であり、効率性と数値的安定性の両方を向上させられるか。
• RQ2 コルモゴロフ r-幅の減少が緩やかな場合、辞書ベースの近似戦略が解の精度をどのように向上させられるか。
• RQ3 スケッチ行列にどのような条件を課すと、低次元解の準最適性定数が、高い確率で保持されるか。
• RQ4 理論的見積もりよりも著しく小さいスケッチサイズで、スケッチ品質の事後証明が達成可能か。
• RQ5 この確率的フレームワークを用いることで、オフラインおよびオンライン段階における計算の節約は、どの程度達成可能か。

主な発見

• 不透明化クローゼのベンチマークにおいて、スケッチ付きminres法は、標準minres法と比較して、解の品質を維持するとともに、オフラインおよびオンライン段階の両方で顕著な計算コストの削減を達成し、数値的安定性も向上した。
• 事後証明手順により、先行研究の理論的見積もりよりも1桁小さいスケッチサイズの境界が得られ、実用的な効率性を示した。
• コルモゴロフ r-幅の減少が緩やかな拡散・対流のベンチマークにおいて、辞書ベースの近似により、オンライン計算量は1桁以上削減され、メモリ使用量は約2倍、実行時間は約4倍短縮された。
• スケッチ行列 Θ に k = 600 行を用いた場合、残差誤差 ∆P は約 0.03 に集中し、解の誤差 eP は約 0.06 に収束し、k ≥ 600 の範囲で安定した性能を示した。
• スケッチ行列のサイズが辞書の基数および失敗確率に関して対数的である場合、精度を高い確率（例：10⁻¹⁰ の失敗確率）で保持することができた。
• 20回の実現における統計的分析により、スケッチサイズにかかわらず一貫した誤差レベルが維持されていることが確認され、フレームワークの頑健性と信頼性が裏付けられた。