[논문 리뷰] Alternating minimal energy methods for linear systems in higher dimensions. Part II: Faster algorithm and application to nonsymmetric systems

Sergey Dolgov, Dmitry Savostyanov|arXiv (Cornell University)|2013. 04. 04.

Tensor decomposition and applications참고 문헌 31인용 수 30

한 줄 요약

이 논문은 고차원 텐서 구조 선형 연립방정식을 위한 빠르고 랭크 적응형 해법인 교대 최소 에너지(AMEn) 알고리즘을 소개한다. 한 개 또는 두 개의 코어에 대한 교대 업데이트와 전역 잔차 기반 기저 증강을 결합함으로써, AMEn은 전역 수렴성과 초선형 실용적 수렴성을 확보하며, Fokker-Planck 및 화학 마스터 방정식과 같은 비대칭 문제에서 DMRG를 능가한다.

ABSTRACT

In this paper we accomplish the development of the fast rank-adaptive solver for tensor-structured symmetric positive definite linear systems in higher dimensions. In [arXiv:1301.6068] this problem is approached by alternating minimization of the energy function, which we combine with steps of the basis expansion in accordance with the steepest descent algorithm. In this paper we combine the same steps in such a way that the resulted algorithm works with one or two neighboring cores at a time. The recurrent interpretation of the algorithm allows to prove the global convergence and to estimate the convergence rate. We also propose several strategies, both rigorous and heuristic, to compute new subspaces for the basis enrichment in a more efficient way. We test the algorithm on a number of high-dimensional problems, including the non-symmetrical Fokker-Planck and chemical master equations, for which the efficiency of the method is not fully supported by the theory. In all examples we observe a convincing fast convergence and high efficiency of the proposed method.

연구 동기 및 목표

• 고차원 편미분방정식과 적분방정식에서 발생하는 차원의 극복 문제를 해결하기 위해 텐서 구조 선형 시스템을 위한 효율적인 해법을 개발한다.
• 비대칭 문제에서 수렴 속도가 느리거나 정체되는 문제를 겪는 교대 최소 제곱법(ALS)과 DMRG 방법의 한계를 극복한다.
• 국소 최적화와 전역 잔차 정보를 조합한 랭크 적응형 알고리즘을 개발하여 전역 수렴성과 더 빠른 실용적 수렴성을 보장한다.
• 이론이 약한 대신 수치적 성능가 뛰어난 비대칭 시스템, 예를 들어 Fokker-Planck 및 화학 마스터 방정식에 텐서 트레인 방법의 적용 범위를 확장한다.

제안 방법

• 텐서 트레인(TT) 형식의 이웃하는 한 개 또는 두 개의 코어를 교대로 최적화하면서 전역 잔차를 이용한 기저 증강을 수행하는 AMEn 알고리즘을 제안한다.
• 전역 수렴성을 보장하고 수렴 속도 추정이 가능하도록 기저 증강 전략으로 최강하강법(SD)을 사용한다.
• 이론적 수렴 분석과 효율적 구현을 가능하게 하기 위해 알고리즘을 반복적이고 스weep 기반 형태로 재구성한다.
• 계산 비용을 줄이기 위해 SVD 기반 TT 근사, 비완전한 콜레스키 분해, 저랭크 ALS 근사와 같은 다수의 잔차 계산 전략을 도입한다.
• 항상 한 개 또는 두 개의 코어만 수정되도록 업데이트 및 증강 단계의 순서를 정렬하여 DMRG를 모방하지만 전역 수렴성이 향상된다.
• 최강하강법의 수렴 이론을 변형하여 AMEn의 수렴 속도를 바ounds로 제시함으로써, 실용적 성능이 이론을 초월함에도 불구하고 이론적 기반을 확립한다.

실험 결과

연구 질문

• RQ1 고차원 선형 시스템을 위한 텐서 트레인 기반 해법이 비선형 텐서 다양체의 구조에도 불구하고 전역 수렴성을 확보하면서도 실용적 수렴 속도가 매우 빠를 수 있는가?
• RQ2 국소 코어 업데이트와 전역 잔차 기반 증강을 조합한 AMEn 알고리즘이 ALS 및 DMRG에 비해 수렴 속도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 표준 수렴 이론이 실패하는 Fokker-Planck 및 화학 마스터 방정식과 같은 비대칭 시스템에 대해 AMEn 방법이 효과적으로 적용될 수 있는가?
• RQ4 고차원 텐서 형식에서 기저 증강을 위한 국소 잔차 성분을 계산하는 데 가장 효율적이고 정확한 방법은 무엇인가?
• RQ5 이론적 한계가 단일 단계 최강하강법과 동일한 수준에 머무르는 데도 불구하고, AMEn이 실용적으로 초선형 수렴을 보이는 이유는 무엇인가?

주요 결과

• AMEn는 비선형 텐서 다양체의 구조에도 불구하고 전역 수렴성을 확보하고, 최강하강법과 동일한 수렴 속도 추정치를 제공한다.
• 이론적 추정치에 비해 실용적 수렴 속도가 크게 빠르며, 단일 단계 최강하강법이 아닌 GMRES 유사 행동을 보인다.
• Fokker-Planck 및 화학 마스터 방정식과 같은 비대칭 시스템에서는 이론적으로 성능이 열 劣할 것으로 예측되나, AMEn는 매우 빠르게 수렴하며 DMRG를 능가한다. DMRG는 종종 정체 상태에 머무른다.
• 계산 비용은 차원과 모드 크기와 선형적으로 증가하며, 비용을 낮추기 위해 비완전한 콜레스키 또는 저랭크 ALS와 같은 저비용 잔차 근사 방법을 사용함으로써 랭크에 의존하는 복잡도가 감소한다.
• 잔차 근사에 저랭크 ALS를 사용하면 수렴 품질을 유지하면서도 상당한 속도 향상을 얻을 수 있어 SVD 기반 TT 근사보다 선호되는 대안이 된다.
• CPU 시간은 스펙트럼 조건수 λ이 증가함에 따라 감소하며, 행렬 스펙트럼에 약한 의존성을 보이며, 초기 추측의 품질에 매우 민감하다.