[논문 리뷰] Tensor Deflation for CANDECOMP/PARAFAC. Part 3: Rank Splitting

Anh Huy Phan, Petr Tichavský외 1명|arXiv (Cornell University)|2015. 06. 16.

Tensor decomposition and applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 CANDECOMP/PARAFAC (CPD)를 위한 블록 텐서 탈락 방법을 제안하며, 랭크-R 텐서에서 동시에 두 개의 랭크-1 성분(즉, 다중선형 랭크-(2,2,2) 텐서)을 추출하여 텐서 랭크를 두 단계 감소시킨다. 이 방법은 각 반복에서 O(R³)의 복잡도를 가지며, 랭크-R 텐서에 대한 표준 ALS 대비 계산 비용을 크게 낮춘다. 각 모드당 4개의 벡터와 2개의 스칼라만 추정하는 교대 부분공간 업데이트(ASU) 알고리즘을 사용한다.

ABSTRACT

CANDECOMP/PARAFAC (CPD) approximates multiway data by sum of rank-1 tensors. Our recent study has presented a method to rank-1 tensor deflation, i.e. sequential extraction of the rank-1 components. In this paper, we extend the method to block deflation problem. When at least two factor matrices have full column rank, one can extract two rank-1 tensors simultaneously, and rank of the data tensor is reduced by 2. For decomposition of order-3 tensors of size R x R x R and rank-R, the block deflation has a complexity of O(R^3) per iteration which is lower than the cost O(R^4) of the ALS algorithm for the overall CPD.

연구 동기 및 목표

• 고차원 텐서에서 일반적으로 순차적 랭크-1 탈락이 불가능한 문제를 해결하기 위해, 순차적 랭크-1 탈락의 한계를 해결한다.
• 적어도 두 개의 인자 행렬이 최대 열 랭크를 가질 경우, 두 개의 랭크-1 성분을 동시에 추출할 수 있는 방법을 개발한다.
• 현재 ALS 알고리즘에서 O(R⁴)의 복잡도를 가지는 크기 R×R×R, 랭크 R인 3차 텐서의 CPD 계산 복잡도를 O(R³)로 감소시키기 위해, 블록 탈락 알고리즘을 제안한다.

제안 방법

• 랭크-R 텐서를 다중선형 랭크-(2,2,2) 텐서와 잔차 랭크-(R−2,R−2,R−2) 텐서의 합으로 분해함으로써, 블록 텐서 탈락 문제를 수립한다.
• 각 모드당 두 세트의 인자 벡터(총 4개의 벡터)와 두 개의 스칼라를 추정하는 교대 부분공간 업데이트(ASU) 알고리즘을 도입하여 블록 성분을 표현한다.
• 2×2×2 텐서는 닫힌 형태로 분해될 수 있음을 활용하여, 블록 텐서에서 두 개의 랭크-1 성분을 직접 추출할 수 있다.
• 직교 투영과 부분공간 제약 조건을 사용하여, 추출된 성분들이 직교하고 잔차 텐서가 낮은 랭크를 유지하도록 보장한다.
• 블록 성분을 표현하기 위해 터커 및 크루스칼 텐서 표현을 활용하며, 최대 열 랭크 조건 하에서 분해의 유일성을 보장한다.
• 모든 반복에서 전체 CPD 반복을 피하고 저차원 하위문제를 해결함으로써 계산 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 고랭크 텐서에서 순차적으로 추출하는 대신, 두 개의 랭크-1 성분을 동시에 추출할 수 있는가?
• RQ2 표준 ALS 대비 이러한 블록 탈락 방법의 계산 복잡도는 어떻게 되는가?
• RQ3 언제 블록 탈락 방법이 고유하고 안정적인 분해를 보장하는가?
• RQ4 크기 R×R×R, 랭크 R인 텐서에 대해 기존 CPD 알고리즘과 비교해 본 결과, 제안된 방법은 정확도와 효율성 면에서 어떻게 성능을 내는가?
• RQ5 이 블록 탈락 방법은 고차원 텐서나 다른 텐서 형식으로 확장될 수 있는가?

주요 결과

• 제안된 블록 탈락 알고리즘은 크기 R×R×R, 랭크 R인 3차 텐서에 대해 각 반복에서 O(R³)의 계산 복잡도를 달성하며, 이는 표준 ALS 알고리즘의 O(R⁴) 복잡도보다 낮다.
• 이 방법은 각 모드당 4개의 벡터와 2개의 스칼라만 필요로 하여, 전체 CPD 알고리즘 대비 메모리 및 계산 비용을 크게 감소시킨다.
• 추출된 블록 성분의 인자 행렬이 최대 열 랭크를 가질 경우, 분해가 고유하게 보장된다.
• 탈락 후 잔차 텐서의 랭크가 (R−2)로 유지됨을 확인하여, 블록 탈락이 의도한 바와 같이 텐서 랭크를 두 단계 감소시킴을 확인한다.
• 2×2×2 텐서의 닫힌 형태 해법을 통해 두 개의 랭크-1 성분을 직접 추출함으로써 수치적 안정성과 효율성을 확보한다.
• 이론적 분석을 통해 추출된 다중선형 랭크-(2,2,2) 텐서가 원래 텐서의 두 개의 랭크-1 성분과 정확히 일치하며, 블록 성분에 대한 근사 오차가 없음을 확인한다.