[논문 리뷰] The trouble with tensor ring decompositions

Kim Batselier|arXiv (Cornell University)|2018. 11. 09.

Tensor decomposition and applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 텐서 링(TR) 분해에서 심각한 결함을 규명한다: 일반적인 연산인 수축과 하다르드 곱 이후 최소 질량 표현을 복원하지 못하는 TR-라운딩 알고리즘의 문제이다. 지수적으로 큰 텐서에서 효율적인 선형 대수를 수행할 수는 있지만, 복구할 수 없는 질량 증가 문제로 인해, 텐서 트레인 분해와 비교해 실용적 적용 가능성에 심각한 제약을 받는다.

ABSTRACT

The tensor train decomposition decomposes a tensor into a "train" of 3-way tensors that are interconnected through the summation of auxiliary indices. The decomposition is stable, has a well-defined notion of rank and enables the user to perform various linear algebra operations on vectors and matrices of exponential size in a computationally efficient manner. The tensor ring decomposition replaces the train by a ring through the introduction of one additional auxiliary variable. This article discusses a major issue with the tensor ring decomposition: its inability to compute an exact minimal-rank decomposition from a decomposition with sub-optimal ranks. Both the contraction operation and Hadamard product are motivated from applications and it is shown through simple examples how the tensor ring-rounding procedure fails to retrieve minimal-rank decompositions with these operations. These observations, together with the already known issue of not being able to find a best low-rank tensor ring approximation to a given tensor indicate that the applicability of tensor rings is severely limited.

연구 동기 및 목표

• 선형 대수 연산 이후 최소 질량을 유지하는 데 있어 텐서 링(TR) 분해의 한계를 조사하는 것.
• 수축 및 하다르드 곱과 같은 연산 이후 TR-라운딩 절차가 정확한 최소 질량 표현을 복원하지 못함을 입증하는 것.
• 이러한 연산 이후 TR과 텐서 트레인(TT)의 저장 복잡도와 질량 행동을 비교하는 것.
• 최적의 저질량 TR 근사가 존재하지 않으며, 라운딩 실패가 발생함으로써 실용적으로 TR 적용 가능성이 심각하게 제한됨을 보여주는 것.

제안 방법

• 3차 핵심 텐서를 사용하여 고리 구조로 연결된 보조 색인을 가진 d차원 텐서를 텐서 링 형식으로 구성하는 것.
• 크로네커 곱 기반 행렬 전개를 사용하여 두 TR 분해된 텐서 간에 하다르드 곱 연산을 적용하여, 원래 질량의 곱과 동일한 TR-질량을 갖는 결과를 도출하는 것.
• 결과로 얻은 하다르드 곱에 대해 TR-라운딩 알고리즘을 적용하여 질량을 최소값으로 감소시키는 시도를 하는 것.
• TR 결과를 텐서 트레인(TT) 표현으로 변환하여 저장 복잡도를 비교하고, TT-라운딩을 통해 최소 질량이 복원 가능한지 평가하는 것.
• TR-핵심 텐서의 스케일링된 특이값 프로파일을 분석하여 오차 없이 잘라내기 가능한지 평가하는 것.
• TT 형태에서 TR 표현을 재구성하고 다시 TR-라운딩을 적용하여 더 낮은 질량 대안이 존재하는지 테스트하는 것.

실험 결과

연구 질문

• RQ1 하다르드 곱 연산 이후 TR-라운딩 알고리즘이 정확한 최소 질량 TR 분해를 복원할 수 있는가?
• RQ2 수축 또는 하다르드 곱 연산 적용이 TR 분해에서 복구 불가능한 질량 증가를 초래하는가?
• RQ3 반복적인 연산 이후 TR 표현의 저장 복잡도는 TT 표현과 비교해 어떻게 되는가?
• RQ4 직접 크로네커 곱 구축 방식보다 낮은 질량을 가진 하다르드 곱에 대한 TR 표현이 존재하는가?
• RQ5 TR-라운딩 실패가 대규모 텐서 계산에서 텐서 링 분해의 실용적 유용성에 얼마나 심각한 영향을 미치는가?

주요 결과

• 하다르드 곱 연산 이후 TR-라운딩 알고리즘이 질량을 감소시키지 못하며, 라운딩된 TR-질량이 원래 TR-질량의 제곱과 동일하다 (예: R=3 → 라운딩된 질량 9).
• R≥5인 경우, 하다르드 곱의 최대 TT-질량은 216로 일정하게 유지되며, 이는 TT 기반 라운딩이 이 지점 이후 저장 복잡도를 더 이상 감소시킬 수 없음을 시사한다.
• TR 표현의 저장 복잡도는 원래 TR-질량에 비례하여 증가하며, R이 3에서 12로 증가함에 따라 TR과 TT 저장 복잡도의 비율이 0.13에서 7.78로 증가한다.
• TR-핵심 텐서의 특이값 프로파일은 상대 오차가 최소 100% 이상이 되지 않는 한 잘라내기 가능성이 없음을 확인하여, 현재 TR 표현이 최소가 아님을 확인한다.
• TT 표현에서 TR을 재구성하고 다시 TR-라운딩을 적용한 결과 더 낮은 질량을 얻었으며 (예: R≥4일 때 최대 질량 108), 이는 더 낮은 질량의 TR 표현이 존재하지만 표준 TR-라운딩 절차에서는 이를 찾을 수 없음을 증명한다.
• R≥7인 경우, TT 변환과 TR-라운딩을 통해 확보한 TR 표현의 저장 복잡도가 직접 크로네커 곱 방법보다 낮아, 표준 TR-라운딩 절차가 최적화되어 있지 않음을 입증한다.