[論文レビュー] Deep Learning of Preconditioners for Conjugate Gradient Solvers in Urban Water Related Problems

Johannes Sappl, Laurent Seiler+2 more|arXiv (Cornell University)|Jun 17, 2019

Model Reduction and Neural Networks参考文献 17被引用数 6

ひとこと要約

本論文では、都市水工学分野における共役勾配（CG）ソルバーの問題固有の予め条件付け行列（preconditioner）を自動的に学習するための深層学習アプローチを提案する。畳み込みニューラルネットワーク（CNN）を用いて、スパースで効率的な条件付け行列を学習することで、流体シミュレーションおよび配管ネットワーク問題において、代わりにAMG や不完全コレスキー分解よりも優れた性能を示し、収束が最大23倍速くなる。

ABSTRACT

Solving systems of linear equations is a problem occuring frequently in water engineering applications. Usually the size of the problem is too large to be solved via direct factorization. One can resort to iterative approaches, in particular the conjugate gradients method if the matrix is symmetric positive definite. Preconditioners further enhance the rate of convergence but hitherto only handcrafted ones requiring expert knowledge have been used. We propose an innovative approach employing Machine Learning, in particular a Convolutional Neural Network, to unassistedly design preconditioning matrices specifically for the problem at hand. Based on an in-depth case study in fluid simulation we are able to show that our learned preconditioner is able to improve the convergence rate even beyond well established methods like incomplete Cholesky factorization or Algebraic MultiGrid.

研究の動機と目的

• 都市水工学分野の応用において、大規模なスパースで対称正定値（SPD）線形方程式系を解く際の計算ボトル neck を解消すること。
• 専門知識を要する手作業による条件付け行列の限界を克服し、問題の変化に伴い性能が低下するのを防ぐこと。
• 数値的精度を維持しながら、深層学習を用いたデータ駆動型で自動化された条件付け行列設計手法を開発すること。
• 実世界の水ネットワーク構成および異なる問題サイズにおいて、学習された条件付け行列の一般化性能と効率性を評価すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）を、行列 A から条件付け行列 M⁻¹ へのマッピングを学習させ、A M⁻¹ の条件数を最小化するように訓練する。
• 損失関数は、特異値分解（SVD）を用いて計算される、条件付け済みシステムの条件数として定義される。
• 流体動力学および配管ネットワークのシミュレーションから得られるSPD行列のデータセットを用いて、教師なしでモデルを訓練する。
• 条件付けは右条件付けにより実装され、方程式 A x = b が A M⁻¹ y = b に変換され、CGの収束が向上する。
• 訓練されたCNNは、より大きな問題サイズ（例：4096次元）に一般化可能であり、シミュレーションの時間ステップ間で再利用可能で、時間経過に伴い線形の高速化が達成できる。
• 直接的に x をMLで近似するのではなく、最終的な解の計算にPCGアルゴリズムを用いることで、数値的精度を保持する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、都市水システムにおけるCGソルバーのための効果的で問題固有の条件付け行列を自動的に学習できるか？
• RQ2 AMG や不完全コレスキー分解といった既存手法と比較して、学習された条件付け行列の収束速度および実行時間性能はどのように異なるか？
• RQ3 CNNで学習された条件付け行列は、異なる問題サイズや行列構造にどの程度一般化できるか？
• RQ4 学習された条件付け行列は、計算コストを大幅に削減しながらも、数値的精度を維持できるか？

主な発見

• 1024次元の流体シミュレーションの事例において、学習された条件付け行列は、単純なCG法に比べて23倍の高速化を達成した。
• 同じ事例において、CGの反復回数は98.15回から35.86回に減少したが、条件数は61.494を維持した。
• 学習された条件付け行列は、AMG（99.471%密度）よりもはるかにスパース（1.413%密度）であったため、1反復あたりの計算が高速化され、全体の実行時間の改善が得られた。
• 4096次元の問題に対しても、学習済みサイズを超えて良好な一般化性能を示し、訓練サイズを超えた堅牢性を確認した。
• EPANET 2ベースの配管ネットワークシミュレーションでは、行列の密度増加の影響で混合な結果が得られたことから、行列構造に敏感であることが示された。
• 流体動力学では標準的な条件付け手法を上回ったが、非常に散らばった行列パターンに対してはさらなるチューニングが必要である。