[논문 리뷰] Decomposition of Big Tensors With Low Multilinear Rank

Guoxu Zhou, Andrzej Cichocki외 1명|arXiv (Cornell University)|2014. 12. 05.

Tensor decomposition and applications참고 문헌 11인용 수 38

한 줄 요약

이 논문은 저항선형 랭크를 가진 큰 텐서를 효율적으로 분해하기 위해 터커 압축을 활용하는 확장 가능한 프레임워크를 제안한다. 이는 CP 및 터커 분해를 효율적으로 가능하게 한다. FFCP는 터커 압축 표현을 사용하여 빠른 CP 분해를 제공하고, RandTucker2i는 분산형 랜덤화된 터커 분해를 통해 대규모 텐서에서 높은 정확도와 효율성을 달성한다. 5차원 영상 데이터(11.7 GB)와 같은 대규모 텐서에서도 최소한의 피팅 손실과 몇 분 이내의 처리 시간으로 뛰어난 성능을 보인다.

ABSTRACT

Tensor decompositions are promising tools for big data analytics as they bring multiple modes and aspects of data to a unified framework, which allows us to discover complex internal structures and correlations of data. Unfortunately most existing approaches are not designed to meet the major challenges posed by big data analytics. This paper attempts to improve the scalability of tensor decompositions and provides two contributions: A flexible and fast algorithm for the CP decomposition (FFCP) of tensors based on their Tucker compression; A distributed randomized Tucker decomposition approach for arbitrarily big tensors but with relatively low multilinear rank. These two algorithms can deal with huge tensors, even if they are dense. Extensive simulations provide empirical evidence of the validity and efficiency of the proposed algorithms.

연구 동기 및 목표

• 대규모 데이터 분석을 위한 기존 텐서 분해 방법의 확장성 한계를 해결한다.
• 기존의 CP 및 터커 분해가 거대한 텐서에서 불안정하고 계산적으로 비가능한 문제를 극복한다.
• 저항선형 랭크를 가진 임의의 크기의 텐서에 대해 효율적이고 확장 가능한 분해를 가능하게 하는 통합 프레임워크를 개발한다.
• 표준 알고리즘의 메모리 및 계산 한계를 초월하는 밀도 높은 고차원 텐서(예: 영상 데이터)의 실용적 분해를 가능하게 한다.
• 정확도를 유지하면서 계산 비용을 줄이는 강력한 분산 솔루션을 제공한다.

제안 방법

• 원본 큰 텐서를 압축하기 위해 터커 분해를 사용하여 차원을 줄이고 다중선형 구조를 유지하는 압축된 코어 텐서와 인자 행렬을 생성한다.
• FFCP 알고리즘을 적용하여 터커 압축된 텐서에서 빠르고 민감한 CP 분해를 수행함으로써 속도와 안정성을 향상시킨다.
• 섬유표본 또는 요소를 샘플링하여 효율적인 저랭크 근사치를 구성하는 분산형 랜덤 터커 분해(RandTucker2i)를 구현한다.
• 분산 환경에서 코어 텐서 계산을 가속화하기 위해 랜덤 SVD와 카트리-라오 곱 기법을 사용한다.
• 이미지 클러스터링과 같은 응용 분야에서 부분 기반 해석 가능한 표현을 위해 FFCP에 비음성 제약 조건을 통합한다.
• 터커 표현을 사전 처리 단계로 활용하여 직접 처리가 불가능한 너무 큰 텐서에 대해서도 확장 가능한 CP 및 터커 분해를 가능하게 한다.

실험 결과

연구 질문

• RQ1 터커 압축은 직접 처리가 불가능한 매우 큰 텐서에 대해 확장 가능하고 정확한 CP 분해를 가능하게 할 수 있는가?
• RQ2 랜덤화된 터커 분해의 성능은 대규모 텐서 데이터에서 피팅과 정확도 측면에서 결정론적 방법과 비교해 어떻게 되는가?
• RQ3 분산 컴퓨팅은 밀도 높은 고차원 텐서(예: 영상 데이터)를 최소한의 정밀도 손실로 효과적으로 분해하는 데 사용될 수 있는가?
• RQ4 FFCP 알고리즘은 기존의 표준 CPD 방법에 비해 계산 시간을 크게 줄이면서도 높은 정확도를 유지하는가?
• RQ5 제안된 프레임워크는 10억 개 이상의 요소를 가진 실세계의 대규모 데이터, 예를 들어 5차원 영상 텐서를 어느 정도 처리할 수 있는가?

주요 결과

• FFCP 알고리즘은 COIL-100 데이터셋에서 71.3%의 정확도를 달성하여 표준 CP-ALS 및 RandTucker2i보다 클러스터링 작업에서 뛰어난 성능을 보였다.
• RandTucker2i는 5차원 UCF Sports 영상 텐서(1.6×10^9개 요소)에서 104초 만에 72.3%의 피팅 성능을 달성하여 밀도 높은 대규모 데이터에서의 확장성을 입증했다.
• 3노드 클러스터를 사용하여 1억 개 요소를 가진 텐서에서 FFCP 알고리즘이 7.5초(비음성은 7초) 내로 CP 분해를 완료하여 높은 효율성을 입증했다.
• UCF Sports 데이터셋에서 A^(5) 인자 행렬의 특징을 사용하여 58%의 클러스터링 정확도를 달성하여 실제 응용 분야에서의 유용성을 검증했다.
• 랜덤화된 방법과 결정론적 방법 간에 성능 저하가 눈에 띄게 관찰되지 않아, RandTucker2i가 대규모 문제에 대해 신뢰할 수 있음을 확인했다.
• CP-ALS가 40개의 영상을 처리할 때 메모리가 부족해지는 11.7 GB, 5차원 영상 텐서를 성공적으로 분해하여 프레임워크의 확장성을 입증했다.