[논문 리뷰] Fast and Guaranteed Tensor Decomposition via Sketching

Yining Wang, Hsiao-Yu Fish Tung외 2명|arXiv (Cornell University)|2015. 06. 14.

Tensor decomposition and applications참고 문헌 28인용 수 64

한 줄 요약

이 논문은 FFT를 활용한 스케칭 기법을 사용하여 고차원 텐서의 CP 분해를 신속하게 수행할 수 있는 랜덤화된 알고리즘을 제안한다. 이는 전체 텐서를 명시적으로 구성하지 않고도 효율적인 텐서 커프팅을 가능하게 하며, 희박성 또는 요소 분포에 관계없이 이론적 보장을 유지하면서 조밀하고 희박한 텐서에서 정확한 방법 대비 10배에서 100배의 속도 향상을 달성한다.

ABSTRACT

Tensor CANDECOMP/PARAFAC (CP) decomposition has wide applications in statistical learning of latent variable models and in data mining. In this paper, we propose fast and randomized tensor CP decomposition algorithms based on sketching. We build on the idea of count sketches, but introduce many novel ideas which are unique to tensors. We develop novel methods for randomized computation of tensor contractions via FFTs, without explicitly forming the tensors. Such tensor contractions are encountered in decomposition methods such as tensor power iterations and alternating least squares. We also design novel colliding hashes for symmetric tensors to further save time in computing the sketches. We then combine these sketching ideas with existing whitening and tensor power iterative techniques to obtain the fastest algorithm on both sparse and dense tensors. The quality of approximation under our method does not depend on properties such as sparsity, uniformity of elements, etc. We apply the method for topic modeling and obtain competitive results.

연구 동기 및 목표

• 기계 학습 및 데이터 마이닝 분야에서의 대규모 텐서 CP 분해에 있어 계산 병목 현상을 해결하기 위해.
• 이전 방법들이 희박성 또는 균일한 요소 분포와 같은 제한적인 가정에 의존하는 점을 극복하기 위해.
• 랜덤화된 스케칭을 활용하여 희박 및 조밀 텐서 모두에 대해 빠르고 정확한 텐서 분해를 가능하게 하는 프레임워크를 개발하기 위해.
• 텐서의 희박성 또는 요소 분포와 같은 특성과 무관하게 근사 품질에 대한 이론적 보장을 제공하기 위해.
• 정확도를 유지하면서 계산 복잡도를 감소시켜 빌리언 스케일 데이터 세트에 실용적으로 구현할 수 있도록 하기 위해.

제안 방법

• 각 랭크-1 성분에 대해 O(n + b log b) 시간 내에 텐서 스케치를 계산하기 위해 FFT 기반 연산을 사용하는 카운트 스케칭을 적용한다. 여기서 n은 텐서의 차원 수이고, b는 스케칭 길이이다.
• 전체 텐서를 명시적으로 구성하지 않고도 FFT를 통해 암묵적인 텐서 커프팅을 계산할 수 있도록 하여, p차 텐서의 경우 계산 복잡도를 O(n^p)에서 O(n + b log b)로 감소시킨다.
• 대칭 텐서를 효율적으로 처리하고 중복된 FFT 연산을 줄이기 위해 불리안 환수 대신 복소수 환수 C를 사용하는 새로운 충돌하는 해시 함수를 도입한다.
• 기존의 텐서 파wer 이터레이션 및 교대 최소 제곱법(ALS)과 같은 텐서 분해 기법과 스케칭을 조합하여 빠르고 확장 가능한 분해를 가능하게 한다.
• 실제 데이터 샘플에서 유래한 경험적 모멘트 텐서의 인수 분해 형태를 활용하여 전체 텐서를 구성하지 않고도 구성 요소 벡터에서 직접 스케칭을 계산한다.
• 집중 부등식과 스펙트럼 분석을 통해 고유값 및 고유벡터의 근사 오차를 경계함으로써 이론적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 희박성 또는 조밀성에 관계없이 정확도를 유지하면서도, 희박 및 조밀 텐서에 대해 텐서 CP 분해를 상당히 가속화할 수 있는가?
• RQ2 스케칭 기법을 텐서 커프팅에 적응시켜 전체 텐서를 명시적으로 구성하지 않고도 계산 비용을 줄일 수 있는가?
• RQ3 대칭 텐서의 구조는 어떻게 활용하여 스케칭 및 FFT 기반 계산을 더욱 최적화할 수 있는가?
• RQ4 제안된 방법은 텐서의 희박성 또는 요소 분포와 무관하게 근사 품질에 대한 이론적 보장을 유지하는가?
• RQ5 실제로 정확한 방법과 기존의 랜덤화된 방법보다 뛰어나게, 빌리언 스케일 데이터 텐서에 대해 확장 가능한가?

주요 결과

• 제안된 방법은 조밀하고 고차원 텐서에서 정확한 텐서 분해 방법 대비 10배에서 100배의 속도 향상을 달성한다.
• 희박하거나 비균일한 텐서일지라도 정확한 방법과 비교해 소량의 성능 손실만을 보이며 높은 정확도를 유지한다.
• 주제 모델링 작업에서는 기존의 스펙트럼 LDA 구현 대비 계산 시간을 크게 줄였으며, 시간 제약 조건 하에서 복합 깁스 샘플링보다 뛰어난 성능을 보였다.
• 이론적 분석 결과, 고유값 및 고유벡터의 근사 오차는 경계되어 있으며 텐서의 희박성 또는 요소 분포와 무관하다.
• 복소수 환수를 사용한 충돌하는 해시 함수의 활용은 동일한 점근적 복잡도에도 불구하고 중복된 FFT 연산을 줄여 실질적인 속도 향상을 가져왔다.
• 실험 결과는 본 방법이 실세계의 주제 모델링 작업을 포함한 대규모 데이터 세트에 잘 스케일링됨을 확인했다. 이는 빌리언 수준의 학습 인스턴스를 다루는 데에도 유용하다.