[論文レビュー] Alternating minimal energy methods for linear systems in higher dimensions. Part II: Faster algorithm and application to nonsymmetric systems

Sergey Dolgov, Dmitry Savostyanov|arXiv (Cornell University)|Apr 4, 2013

Tensor decomposition and applications参考文献 31被引用数 30

ひとこと要約

本稿では、高次元テンソル構造線形系のための高速でランク適応型の解法である、交替的最小エネルギー（AMEn）アルゴリズムを提案する。1コアまたは2コアの交替的更新と、グローバルな残差に基づく基底拡張を組み合わせることで、AMEnはグローバル収束と超線形的実用的収束を達成し、非対称問題（Fokker-Planck方程式や化学マスター方程式など）においてDMRGを上回る性能を発揮する。

ABSTRACT

In this paper we accomplish the development of the fast rank-adaptive solver for tensor-structured symmetric positive definite linear systems in higher dimensions. In [arXiv:1301.6068] this problem is approached by alternating minimization of the energy function, which we combine with steps of the basis expansion in accordance with the steepest descent algorithm. In this paper we combine the same steps in such a way that the resulted algorithm works with one or two neighboring cores at a time. The recurrent interpretation of the algorithm allows to prove the global convergence and to estimate the convergence rate. We also propose several strategies, both rigorous and heuristic, to compute new subspaces for the basis enrichment in a more efficient way. We test the algorithm on a number of high-dimensional problems, including the non-symmetrical Fokker-Planck and chemical master equations, for which the efficiency of the method is not fully supported by the theory. In all examples we observe a convincing fast convergence and high efficiency of the proposed method.

研究の動機と目的

• 高次元PDEおよび積分方程式における次元の呪いを克服し、テンソル構造線形系のための効率的ソルバーを開発すること。
• 非対称問題において収束が遅いか停滞する傾向がある交替最小二乗法（ALS）およびDMRG法の限界を克服すること。
• 局所最適化とグローバルな残差情報の組み合わせにより、グローバル収束とより速い実用的収束を保証するランク適応型アルゴリズムを開発すること。
• Fokker-Planck方程式や化学マスター方程式のような非対称系にまでテンソル列法の適用範囲を拡大すること。これらの系では理論的枠組みは弱いが、数値的性能は強い。

提案手法

• テンソル列（TT）形式の隣接する1または2コアを交互に最適化し、グローバルな残差を用いて基底を拡張するAMEnアルゴリズムを提案する。
• グローバル収束を保証し、収束速度の推定を可能にするために、勾配降下法（SD）を基底拡張戦略として採用する。
• 理論的収束解析と効率的な実装を可能にするために、再帰的でスイープベースの形にアルゴリズムを再定式化する。
• 計算コストを削減するため、SVDに基づくTT近似、不完全コレスキー分解、低ランクALS近似の複数の残差計算戦略を導入する。
• 更新と拡張のステップを、一度に1つまたは2つのコアのみを変更するように順序付けすることで、DMRGに類似した挙動を実現するが、グローバル収束性を向上させる。
• 勾配降下法の収束理論を拡張し、AMEnの収束速度を境界づける。理論的基盤を確立するが、実際の性能は理論を上回る。

実験結果

リサーチクエスチョン

• RQ1 テンソル列に基づく高次元線形系のソルバーは、非線形テンソル多様体構造を有する中でも、グローバル収束を達成しながら、速い実用的収束を維持できるか？
• RQ2 局所コア更新とグローバルな残差に基づく拡張を組み合わせたAMEnアルゴリズムは、ALSおよびDMRGと比較して収束速度と頑健性において優れているか？
• RQ3 Fokker-Planck方程式や化学マスター方程式のような非対称系に、AMEn法は効果的に適用可能か？これらの系では標準的な収束理論が成立しない。
• RQ4 高次元テンソル形式における基底拡張に必要な局所的残差成分を計算する最も効率的かつ正確な手法は何か？
• RQ5 理論的境界が1ステップ勾配降下法と一致するにもかかわらず、なぜAMEnは実用的に超線形収束を示すのか？

主な発見

• AMEnは非線形テンソル多様体構造を持つ中でも、グローバル収束を達成し、勾配降下法と一致する収束速度の推定値を提供する。
• 理論的推定値よりも著しく速い実用的収束を示し、1ステップ勾配降下法ではなくGMRESに類似した挙動を示す。
• 非対称系（Fokker-Planck方程式や化学マスター方程式など）において、理論的には性能が悪いと予測されるにもかかわらず、AMEnは急速に収束し、しばしば停滞するDMRGを上回る。
• 計算コストは次元およびモードサイズに線形に依存し、不完全コレスキー分解や低ランクALSなどの安価な残差近似法を用いることでランク依存の複雑さが低減される。
• 低ランクALSによる残差近似は収束品質を維持したまま顕著な高速化を実現し、SVDに基づくTT近似の代替として好ましい選択肢となる。
• CPU時間はスペクトル条件数λが増加するにつれて減少し、行列スペクトルに弱い依存性を示す。また、初期推定値の品質に非常に敏感である。