[논문 리뷰] Practical Leverage-Based Sampling for Low-Rank Tensor Decomposition

Brett W. Larsen, Tamara G. Kolda|arXiv (Cornell University)|2020. 06. 30.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 매트릭스 스케칭을 통한 저질서 텐서 분해의 가속화를 위해 실용적인 리버리지 스코어 기반 샘플링 방법을 제안한다. 리버리지 스코어의 상한값에 비례하여 행을 샘플링함으로써, 카트리-라오 곱의 구조를 효율적으로 활용해 계산한 상한값을 사용함으로써, 텐서 크기와 무관하게 O(rd/ϵ)의 샘플링 복잡도를 달성하며, 높은 정확도를 유지하면서도 대규모 희소 텐서에서 상당한 속도 향상을 이룬다.

ABSTRACT

The low-rank canonical polyadic tensor decomposition is useful in data analysis and can be computed by solving a sequence of overdetermined least squares subproblems. Motivated by consideration of sparse tensors, we propose sketching each subproblem using leverage scores to select a subset of the rows, with probabilistic guarantees on the solution accuracy. We randomly sample rows proportional to leverage score upper bounds that can be efficiently computed using the special Khatri-Rao subproblem structure inherent in tensor decomposition. Crucially, for a $(d+1)$-way tensor, the number of rows in the sketched system is $O(r^d/ε)$ for a decomposition of rank $r$ and $ε$-accuracy in the least squares solve, independent of both the size and the number of nonzeros in the tensor. Along the way, we provide a practical solution to the generic matrix sketching problem of sampling overabundance for high-leverage-score rows, proposing to include such rows deterministically and combine repeated samples in the sketched system; we conjecture that this can lead to improved theoretical bounds. Numerical results on real-world large-scale tensors show the method is significantly faster than deterministic methods at nearly the same level of accuracy.

연구 동기 및 목표

• 대규모 희소 텐서를 위한 저질서 CANDECOMP/PARAFAC (CP) 텐서 분해를 가속화하기 위해.
• 반복 최소 제곱법(ALS) 반복 과정에서 리버리지 스코어를 사용해 최소 제곱 하위 문제를 스케칭함으로써 계산 비용을 감소시키기 위해.
• 밀도 있는 텐서나 행렬을 명시적으로 형성하지 않는 실용적이고 확장 가능한 방법을 개발하기 위해.
• 성능 저하 없이 고리버리지 행을 효과적으로 처리하기 위해 결정론적 포함과 반복적 샘플링을 조합하기 위해.
• 샘플링 하에 확률적 경계를 갖는 해의 정확도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 최소 제곱 하위 문제에서의 행 샘플링을 지시하기 위해 카트리-라오 곱의 구조에서 유도된 리버리지 스코어 상한값을 사용한다.
• 하이브리드 샘플링 전략을 적용한다: 고리버리지 행은 결정론적으로 포함하고, 나머지 행은 리버리지 스코어 상한값에 비례하는 확률로 무작위로 샘플링한다.
• 동일한 행에서 반복적으로 얻은 샘플을 하나의 효과적인 행으로 통합하여 수치적 안정성과 효율성을 향상시킨다.
• Ω, Z, X를 명시적으로 형성하지 않고도 스케칭된 행렬 ˜Z = ΩZ 및 ˜X⊺ = ΩX⊺를 계산함으로써 희소 행렬 연산을 가능하게 한다.
• 무작위 수치 선형대수(RandNLA) 기법을 사용하여 스케칭된 최소 제곱 문제를 O(max{n,r}rd+1/ϵ) 시간 내에 해결한다.
• 초기화 단계에서 각 모드를 따라 텐서 원소의 선형 색인을 계산하는 사전 처리 단계를 도입하여 섬세한 파이버 샘플링을 효율적으로 수행한다.

실험 결과

연구 질문

• RQ1 리버리지 스코어 샘플링이 CP 텐서 분해의 최소 제곱 하위 문제에 효과적으로 적용되어 계산 비용을 줄일 수 있는가?
• RQ2 텐서 분해의 맥락에서 ϵ-정확도 해를 고확률로 달성하기 위해 필요한 샘플링 복잡도는 무엇인가?
• RQ3 성능 저하 없이 랜덤 스케칭 프레임워크에서 고리버리지 행을 효율적으로 처리할 수 있는가?
• RQ4 제안된 방법이 실세계 대규모 희소 텐서에서 결정론적 CP-ALS에 비해 상당한 속도 향상을 이룰 수 있는가?
• RQ5 초기화 전략의 영향은 무작위 알고리즘의 수렴성과 적합도에 어떤가?

주요 결과

• 이 방법은 (d+1)-방향 텐서에 대해 텐서 크기나 비제로 요소 수와 무관하게 O(rd/ϵ)의 샘플링 복잡도를 달성하며, 고확률 정확도 보장을 갖는다.
• Enron 텐서(5420만 개 비제로 요소, 4차원)에서 RRF 초기화를 사용한 CP-ARLS-LEV의 중앙값 실행 시간은 s=2^18 샘플일 때 CP-ALS 대비 5.78배 빠르게 기록되었다.
• Uber 텐서(330만 개 비제로 요소)에서 s=2^19 샘플일 때 CP-ARLS-LEV의 중앙값 실행 시간은 CP-ALS 대비 4.39배 빠르게 기록되었다.
• 초기화에 랜덤라이즈드 레인지 파인더(RRF)를 사용함으로써 초기 잔차(X⊥)가 감소하고, 가용성은 최대 30% 향상되었다.
• 고리버리지 행의 결정론적 포함과 나머지 행의 무작위 샘플링을 조합한 하이브리드 샘플링 전략은 순수 무작위 샘플링보다 안정성과 성능을 향상시켰다.
• 실세계 대규모 희소 텐서에서 결정론적 CP-ALS와 거의 동일한 해의 정확도를 유지하면서도 상당한 속도 향상을 달성했다.