[논문 리뷰] DFacTo: Distributed Factorization of Tensors

Joon Hee Choi, S. V. N. Vishwanathan|arXiv (Cornell University)|2014. 06. 17.

Tensor decomposition and applications참고 문헌 13인용 수 80

한 줄 요약

DFacTo는 Khatri-Rao 곱을 두 개의 희소 행렬-벡터 곱을 통해 효율적으로 계산하여 중간 데이터 폭발을 방지함으로써, Alternating Least Squares (ALS)와 Gradient Descent (GD)를 가속화하는 분산 텐서 분해 알고리즘이다. 기존 방법 대비 4–10배의 성능 향상을 달성하며, 4台의 머신에서 6.5M×2.5M×1.5M 텐서(비제로 요소 12억 개)에 대해 하나의 ALS 반복을 480초, 하나의 GD 반복을 1,143초에 수행한다.

ABSTRACT

We present a technique for significantly speeding up Alternating Least Squares (ALS) and Gradient Descent (GD), two widely used algorithms for tensor factorization. By exploiting properties of the Khatri-Rao product, we show how to efficiently address a computationally challenging sub-step of both algorithms. Our algorithm, DFacTo, only requires two sparse matrix-vector products and is easy to parallelize. DFacTo is not only scalable but also on average 4 to 10 times faster than competing algorithms on a variety of datasets. For instance, DFacTo only takes 480 seconds on 4 machines to perform one iteration of the ALS algorithm and 1,143 seconds to perform one iteration of the GD algorithm on a 6.5 million x 2.5 million x 1.5 million dimensional tensor with 1.2 billion non-zero entries.

연구 동기 및 목표

• ALS 및 GD와 같은 텐서 분해 알고리즘에서 발생하는 중간 데이터 폭발 문제를 해결하기 위해.
• 기하급수적으로 증가하는 희소 텐서에서 확장 가능한 분산 계산을 가능하게 하기 위해.
• 높은 성능을 유지하면서도 비용이 많이 드는 중간 표현을 피할 수 있는 방법을 설계하기 위해.
• 기존 표준 희소 선형 대수 라이브러리와 호환되는 실용적이고 병렬화 가능한 솔루션을 제공하기 위해.
• 실제 데이터 세트에서 Tensor Toolbox 및 GigaTensor와 같은 기존 도구보다 빠르고 확장성 있는 성능을 확보하기 위해.

제안 방법

• DFacTo는 ALS 및 GD의 핵심 계산 단계인 Khatri-Rao 곱을 포함한 곱셈 연산을 두 개의 희소 행렬-벡터 곱으로 재구성한다.
• Khatri-Rao 곱의 성질을 활용하여 큰 중간 행렬을 명시적으로 생성하지 않는다.
• 알고리즘은 여러 머신에 자연스럽게 분산되어 수평적 확장이 가능하도록 설계되어 있다.
• 기존 고성능 라이브러리와의 호환성을 보장하기 위해 표준 희소 선형 대수 연산을 사용한다.
• 알고리즘적 변경을 최소화하면서도 ALS 및 GD 최적화 전략을 모두 지원한다.
• 밀도 있는 텐서 표현을 피하고 희소 데이터 구조를 직접 다룸으로써 수치적 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 큰 중간 행렬을 생성하지 않고도 텐서 분해에서 Khatri-Rao 곱 계산을 가속화할 수 있는가?
• RQ2 기하급수적으로 증가하는 희소 텐서에서 확장성과 효율성을 동시에 확보할 수 있는 텐서 분해 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 기존의 밀도 행렬 또는 중간 행렬 접근 방식 대비 희소 행렬-벡터 연산을 사용할 경우 성능 향상은 어느 정도인가?
• RQ4 실제로 비제로 요소 수가 수십억 개에 이르는 데이터 세트에서 분산 구현된 텐서 분해가 상당한 성능 향상을 달성할 수 있는가?
• RQ5 DFacTo는 실존하는 도구인 Tensor Toolbox 및 GigaTensor와 비교해 성능 및 메모리 사용량 측면에서 어떻게 성과를 내는가?

주요 결과

• 6.5M×2.5M×1.5M 텐서(비제로 요소 12억 개)에서 DFacTo는 4台의 머신을 통해 하나의 ALS 반복을 480초 내에 수행한다.
• 동일한 텐서에서 GD의 하나의 반복은 DFacTo를 사용해 1,143초가 소요되며, 이는 높은 확장성을 보여준다.
• 다양한 데이터 세트에서 ALS에 대해 DFacTo는 GigaTensor보다 평균 5배, Tensor Toolbox보다 10배 빠르다.
• GD에 대해서는 DFacTo가 Tensor Toolbox의 CP-OPT 대비 4배 빠른 성능을 기록한다.
• DFacTo는 세 개의 평탄화된 행렬을 저장하기 때문에 Tensor Toolbox보다 약 3배 더 많은 메모리를 사용하지만, 이는 뛰어난 계산 효율성으로 상쇄된다.
• 실험 결과, DFacTo를 사용한 공동 행렬 완성 및 텐서 분해 모델이 모든 데이터 세트에서 행렬 완성 전용 모델보다 낮은 평균 제곱오차를 달성한다.