[논문 리뷰] Comparison of Accuracy and Scalability of Gauss-Newton and Alternating Least Squares for CP Decomposition

Navjot Singh, Linjian Ma외 2명|arXiv (Cornell University)|2019. 10. 27.

Tensor decomposition and applications참고 문헌 45인용 수 6

한 줄 요약

이 논문은 텐서 커크래이션을 통한 암시적 행렬-벡터 곱을 이용한 가우스-뉴턴 방법의 최초의 병렬 구현을 제시하며, 확장 가능한 고정밀도 분해를 가능하게 한다. 이는 ALS가 실패하는 상황에서 정확한 CP 분해로 일관되게 수렴함을 보이며, 고계수의 양자화학적 텐서에서 잔차를 최대 2.4배 낮추고 2배 빠른 속도를 달성한다.

ABSTRACT

Alternating least squares is the most widely used algorithm for CP tensor decomposition. However, alternating least squares may exhibit slow or no convergence, especially when high accuracy is required. An alternative approach is to regard CP decomposition as a nonlinear least squares problem and employ Newton-like methods. Direct solution of linear systems involving an approximated Hessian is generally expensive. However, recent advancements have shown that use of an implicit representation of the linear system makes these methods competitive with alternating least squares. We provide the first parallel implementation of a Gauss-Newton method for CP decomposition, which iteratively solves linear least squares problems at each Gauss-Newton step. In particular, we leverage a formulation that employs tensor contractions for implicit matrix-vector products within the conjugate gradient method. The use of tensor contractions enables us to employ the Cyclops library for distributed-memory tensor computations to parallelize the Gauss-Newton approach with a high-level Python implementation. In addition, we propose a regularization scheme for Gauss-Newton method to improve convergence properties without any additional cost. We study the convergence of variants of the Gauss-Newton method relative to ALS for finding exact CP decompositions as well as approximate decompositions of real-world tensors. We evaluate the performance of sequential and parallel versions of both approaches, and study the parallel scalability on the Stampede2 supercomputer.

연구 동기 및 목표

• 고정밀도 CP 분해에서 특히 고계수 상황에서 느리거나 수렴하지 않는 경향이 있는 교대 최소제곱(ALS) 방법의 문제를 해결하기 위해.
• 암시적 선형 시스템 해법을 사용한 CP 분해를 위한 확장 가능하고 고성능의 가우스-뉴턴 방법의 구현을 개발하기 위해.
• 합성 및 실제 텐서에서 가우스-뉴턴의 수렴성, 정확도 및 확장성과 ALS를 비교 평가하기 위해.
• 추가적인 계산 비용 없이도 수렴성을 향상시키는 정규화 기법을 제안하고 검증하기 위해.

제안 방법

• 가우스-뉴턴 방법은 공액 그래디언트(CG) 솔버 내에서 암시적 행렬-벡터 곱을 계산하기 위해 텐서 커크래이션을 사용하여 구성되며, 명시적 헤시안 행렬의 조립을 피한다.
• 이 방법은 분산 메모리 환경에서의 병렬 처리를 위해 Cyclops Tensor Framework를 활용하며, NumPy 및 Cyclops 백엔드를 모두 지원하는 고수준 파이썬 기반 구현을 가능하게 한다.
• 최적화 중 정규화 파라미터를 동적으로 조정함으로써 수렴 안정성과 정확도를 향상시키는 새로운 정규화 기법이 도입된다.
• 헤시안 근사치는 암시적으로 텐서 커크래이션을 통해 적용되어, CG 반복당 계산 비용을 O(N²sR²)로 감소시킨다.
• 계산 비용을 줄이기 위해 조건부 공액 그래디언트를 사용하여 수렴 속도를 가속화하며, 밀도 높은 행렬을 생성하지 않고 시스템 방정식을 반복적으로 해결한다.
• 이 구현은 순차적 및 병렬 실행을 모두 지원하며, Stampede2 슈퍼컴퓨터에서 강한 및 약한 확장성 분석이 가능하다.

실험 결과

연구 질문

• RQ1 암시적 CG를 사용한 가우스-뉴턴 방법은 고계수 텐서에 대해 ALS보다 더 정확하고 확장 가능한가?
• RQ2 가우스-뉴턴에 대해 계산 비용을 증가시키지 않고도 수렴성을 향상시키는 정규화 기법을 설계할 수 있는가?
• RQ3 실제 양자화학적 텐서에서 가우스-뉴턴의 수렴 속도와 잔차 감소 성능은 ALS와 어떻게 비교되는가?
• RQ4 Stampede2와 같은 분산 메모리 시스템에서 제안된 가우스-뉴턴 구현의 병렬 확장성은 어떠한가?
• RQ5 ALS가 '늪지 현상'으로 인해 실패하는 합성 텐서에서 가우스-뉴턴이 정확한 CP 분해를 달성할 수 있는가?

주요 결과

• 크기 2000×2000×2000, 秩 2000인 가우스 텐서에 대해, 가우스-뉴턴은 300초 내에 정확한 해에 수렴했고, ALS는 동일한 시간 내에 수렴하지 못했다.
• 크기 4520×280×280, 秩 2000인 40개의 물분자로 구성된 양자화학적 텐서에서, 가우스-뉴턴은 5,000초 내에 0.952의 피트니스를 달성했고, ALS는 반시간 내에 0.94의 피트니스를 기록하며 성능을 뛰어넘었다.
• 적응형 정규화를 적용한 가우스-뉴턴는 동일한 텐서에서 ALS보다 상대 잔차를 2.4배 낮추었고, 실행 속도는 0.6배 빠르게 작동했다.
• Stampede2에서 좋은 약한 확장성(weak scalability)을 보였으며, 문제 크기와 코어 수 증가에 따라 성능 향상이 효과적으로 발생했다.
• 제안된 정규화 기법은 안정적인 수렴과 높은 정확도를 가능하게 하였고, 고정된 정규화(예: λ=10⁻⁵ 또는 λ=10⁻³)에서 발생하는 문제를 피했다.
• 고계수 상황(R ≥ s)에서 가우스-뉴턴는 수렴 행동과 최종 잔차 면에서 항상 ALS를 능가하였으며, '늪지 효과'에 대한 강건성을 입증했다.