[논문 리뷰] Second-order optimization for tensors with fixed tensor-train rank

Michael Psenka, Nicolas Boumal|arXiv (Cornell University)|2020. 11. 26.

Tensor decomposition and applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 고정된 텐서트레이인 (TT) 랭크를 가진 텐서의 다양체 위에서 리만형 헤시안을 효율적으로 계산하는 데 성공하며, 리만형 신뢰영역 방법을 통한 두 번째 차수 최적화를 가능하게 한다. 이 방법은 일阶 최적화 방법과 대안적 최소 제곱법에 비해 저랭크 텐서 복원 과정에서 더 빠른 수렴과 향상된 성능을 달성하며, 계산 복잡도는 O(d²nr³)이다.

ABSTRACT

There are several different notions of "low rank" for tensors, associated to different formats. Among them, the Tensor Train (TT) format is particularly well suited for tensors of high order, as it circumvents the curse of dimensionality: an appreciable property for certain high-dimensional applications. It is often convenient to model such applications as optimization over the set of tensors with fixed (and low) TT rank. That set is a smooth manifold. Exploiting this fact, others have shown that Riemannian optimization techniques can perform particularly well on tasks such as tensor completion and special large-scale linear systems from PDEs. So far, however, these optimization techniques have been limited to first-order methods, likely because of the technical hurdles in deriving exact expressions for the Riemannian Hessian. In this paper, we derive a formula and efficient algorithm to compute the Riemannian Hessian on this manifold. This allows us to implement second-order optimization algorithms (namely, the Riemannian trust-region method) and to analyze the conditioning of optimization problems over the fixed TT rank manifold. In settings of interest, we show improved optimization performance on tensor completion compared to first-order methods and alternating least squares (ALS). Our work could have applications in training of neural networks with tensor layers. Our code is freely available.

연구 동기 및 목표

• 고정된 텐서트레이 (TT) 랭크 텐서의 다양체 위에서 두 번째 차수 최적화 방법의 부족을 해결한다.
• TT 다각체 위에서 리만형 헤시안을 계산하여 최적화의 초선형 국소 수렴을 가능하게 한다.
• 텐서 복원 및 관련 문제를 위한 리만형 헤시안을 효율적으로 계산하는 알고리즘을 개발한다.
• 저랭크 텐서 복원 작업에서 일阶 최적화 방법과 대안적 최소 제곱법(Als)에 비해 향상된 수렴과 성능을 입증한다.
• 저랭크 텐서 다각체 위에서 강력한 두 번째 차수 최적화를 가능하게 하여, 텐서 레이어를 갖는 신경망을 포함한 머신러닝 응용 분야를 촉진한다.

제안 방법

• 리만 기하학과 텐서트레이 구조를 활용하여 고정된 TT-랭크 텐서의 다각체 위에서 리만형 헤시안에 대한 정확한 공식을 유도한다.
• 텐서트레이 형식을 활용하여 헤시안을 코어 텐서와 인터페이스 행렬로 표현함으로써 효율적인 계산을 가능하게 한다.
• 정방향 및 역방향 전파를 통해 TT 코어를 거쳐 헤시안 작용을 계산하는 알고리즘을 설계하며, 재귀적 행렬 곱을 활용한다.
• TT 형식의 구조를 이용해 교차항과 헤시안-벡터 곱을 O(d²nr³) 연산 내에서 계산함으로써 전체 헤시안 조립을 피한다.
• Manopt 툴박스에 헤시안 계산을 통합하여 리만형 신뢰영역 방법에서 활용할 수 있도록 한다.
• 최적화 문제를 TT 다각체 위에 설정하고 헤시안을 활용하여 수렴을 향상시키는 방식으로 텐서 복원에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 고정된 텐서트레이 랭크 텐서의 다각체 위에서 리만형 헤시안을 효율적으로 계산할 수 있는가?
• RQ2 TT 다각체 위에서 두 번째 차수 최적화는 텐서 복원에서 일阶 최적화 방법보다 더 빠른 수렴과 향상된 성능을 보일 수 있는가?
• RQ3 TT-구조 텐서의 리만형 헤시안 작용을 계산하는 데 필요한 계산 복잡도는 얼마인가?
• RQ4 저랭크 텐서 복원에서 리만형 신뢰영역 방법은 대안적 최소 제곱법과 일阶 최적화 방법에 비해 성능가능한가?
• RQ5 TT 다각체 위에서 두 번째 차수 최적화는 텐서 레이어를 갖는 신경망 학습과 같은 머신러닝 작업에 실용적으로 적용될 수 있는가?

주요 결과

• 논문은 고정된 TT-랭크 다각체 위에서 리만형 헤시안을 효율적으로 계산하는 알고리즘을 성공적으로 유도하고 구현하여 두 번째 차수 최적화를 가능하게 하였다.
• 헤시안-벡터 곱의 계산 복잡도는 O(d²nr³)이며, 이는 고차원 텐서에 대해서도 확장 가능하고 실용적인 수준이다.
• 수치 실험 결과, 리만형 신뢰영역 방법이 저랭크 텐서 복원에서 일阶 최적화 방법과 ALS보다 더 빠른 수렴과 향상된 성능을 보였다.
• 이 방법은 초선형 국소 수렴을 보이며, TT 다각체 위에서 두 번째 차수 최적화의 이론적 우수성을 확인하였다.
• 구현 코드는 공개되어 있어 재현 가능하며, PDE나 텐서 레이어를 갖는 신경망과 같은 다른 응용 분야로의 확장이 가능하다.
• 특히 조건이 나쁜 또는 고차원 설정에서 기존 방법에 비해 해의 정확도와 수렴 속도 측면에서 뛰어난 성능을 보였다.