[論文レビュー] Comparison of Accuracy and Scalability of Gauss-Newton and Alternating Least Squares for CP Decomposition

Navjot Singh, Linjian Ma+2 more|arXiv (Cornell University)|Oct 27, 2019

Tensor decomposition and applications参考文献 45被引用数 6

ひとこと要約

本稿では、テンソル畳み込みを介した暗黙の行列・ベクトル積を用いて、スケーラブルで高精度な分解を可能にする、初めての並列化されたガウス・ニュートン法によるCPテンソル分解の実装を提示する。ガウス・ニュートン法は、ALSが失敗する状況でも一貫して正確なCP分解に収束し、高ランクの量子化学的テンソルにおいて、残留誤差を最大2.4倍低減し、2倍の高速化を達成した。

ABSTRACT

Alternating least squares is the most widely used algorithm for CP tensor decomposition. However, alternating least squares may exhibit slow or no convergence, especially when high accuracy is required. An alternative approach is to regard CP decomposition as a nonlinear least squares problem and employ Newton-like methods. Direct solution of linear systems involving an approximated Hessian is generally expensive. However, recent advancements have shown that use of an implicit representation of the linear system makes these methods competitive with alternating least squares. We provide the first parallel implementation of a Gauss-Newton method for CP decomposition, which iteratively solves linear least squares problems at each Gauss-Newton step. In particular, we leverage a formulation that employs tensor contractions for implicit matrix-vector products within the conjugate gradient method. The use of tensor contractions enables us to employ the Cyclops library for distributed-memory tensor computations to parallelize the Gauss-Newton approach with a high-level Python implementation. In addition, we propose a regularization scheme for Gauss-Newton method to improve convergence properties without any additional cost. We study the convergence of variants of the Gauss-Newton method relative to ALS for finding exact CP decompositions as well as approximate decompositions of real-world tensors. We evaluate the performance of sequential and parallel versions of both approaches, and study the parallel scalability on the Stampede2 supercomputer.

研究の動機と目的

• 高精度なCP分解において、特に高ランクの状況で収束しないか遅いことが問題となる、交互最小二乗法（ALS）の問題を解決すること。
• 暗黙の線形方程式の解法を用いて、CP分解のためのスケーラブルかつ高性能なガウス・ニュートン法の実装を開発すること。
• 合成および実世界のテンソル上で、ガウス・ニュートン法とALSの収束性、精度、並列スケーラビリティを評価すること。
• 追加の計算コストを増加させることなく収束性を向上させる正則化スキームの提案と検証すること。

提案手法

• 共役勾配（CG）ソルバー内での行列・ベクトル積を暗黙的に計算するために、テンソル畳み込みを用いたガウス・ニュートン法の定式化を行い、明示的なヘッシアンの構築を回避する。
• 分散メモリ並列化のため、Cyclopsテンソルフレームワークを活用し、NumPyおよびCyclopsバックエンドを備えた高水準のPythonベース実装を可能にする。
• 最適化中に正則化パラメータを動的に調整することで、収束安定性と精度を向上させる、新しい正則化スキームを導入する。
• ヘッシアンの近似をテンソル畳み込みを介して暗黙的に適用することで、1回のCG反復あたりの計算コストをO(N²sR²)に削減する。
• 収束を加速するために、プリコンディショニング付きCGを用い、密行列を形成せずに方程式系を反復的に解く。
• 実装は順次実行および並列実行をサポートしており、Stampede2スーパーコンピュータ上で強スケーリングおよび弱スケーリングの分析が可能である。

実験結果

リサーチクエスチョン

• RQ1 暗黙のCGを用いたガウス・ニュートン法は、特に高ランクテンソルにおいて、ALSよりも正確かつスケーラブルにCP分解を解けるか？
• RQ2 ガウス・ニュートン法に、計算コストを増加させることなく収束性を向上させる正則化スキームを設計できるか？
• RQ3 実世界の量子化学的テンソルにおいて、ガウス・ニュートン法とALSの収束速度および残留誤差低減の観点から、性能を比較できるか？
• RQ4 分散メモリシステム（例：Stampede2）上で、提案されたガウス・ニュートン実装の並列スケーラビリティはどの程度か？
• RQ5 ALSが「スワンプ現象」により失敗する合成テンソルにおいて、ガウス・ニュートン法が正確なCP分解に到達できるか？

主な発見

• サイズ2000×2000×2000、ランク2000のガウス型テンソルにおいて、ガウス・ニュートン法は300秒で正確な解に収束したが、ALSは同じ時間内に収束しなかった。
• 40個の水分子を含む量子化学的テンソル（サイズ4520×280×280、ランク2000）において、ガウス・ニュートン法は5,000秒で適合度0.952を達成し、ALS（適合度0.94）を半分の時間で上回った。
• 適応的正則化を用いたガウス・ニュートン法は、同じテンソル上でALSに比べて2.4倍低い相対残留誤差を達成し、実行速度も0.6倍速くなった。
• Stampede2上での弱スケーリングにおいて、問題サイズおよびコア数の増加に応じて性能向上が有効にスケーリングされた。
• 提案された正則化スキームにより、安定した収束と高い精度が達成され、固定正則化（例：λ=10⁻⁵ または λ=10⁻³）で見られる問題を回避した。
• 高ランク状況（R ≥ s）において、ガウス・ニュートン法は収束性と最終残留誤差の両面で一貫してALSを上回り、『スワンプ効果』に対して頑健であることが示された。