[논문 리뷰] SGD_Tucker: A Novel Stochastic Optimization Strategy for Parallel Sparse Tucker Decomposition

Hao Li, Zixuan Li외 4명|arXiv (Cornell University)|2020. 12. 07.

Tensor decomposition and applications참고 문헌 42인용 수 12

한 줄 요약

이 논문은 중간 변수 폭발 문제를 줄이기 위해 전체 텐서 요소 대신 작은 무작위 배치를 처리하는 스트로스틱 최적화 전략인 SGD_Tucker를 제안한다. 이는 병렬 처리를 위한 세분화된 병렬화를 가능하게 하며, P-Tucker와 CD와 같은 최신 기법들보다 최소 2배의 속도 향상을 이룬다.

ABSTRACT

Sparse Tucker Decomposition (STD) algorithms learn a core tensor and a group of factor matrices to obtain an optimal low-rank representation feature for the \underline{H}igh-\underline{O}rder, \underline{H}igh-\underline{D}imension, and \underline{S}parse \underline{T}ensor (HOHDST). However, existing STD algorithms face the problem of intermediate variables explosion which results from the fact that the formation of those variables, i.e., matrices Khatri-Rao product, Kronecker product, and matrix-matrix multiplication, follows the whole elements in sparse tensor. The above problems prevent deep fusion of efficient computation and big data platforms. To overcome the bottleneck, a novel stochastic optimization strategy (SGD$\_$Tucker) is proposed for STD which can automatically divide the high-dimension intermediate variables into small batches of intermediate matrices. Specifically, SGD$\_$Tucker only follows the randomly selected small samples rather than the whole elements, while maintaining the overall accuracy and convergence rate. In practice, SGD$\_$Tucker features the two distinct advancements over the state of the art. First, SGD$\_$Tucker can prune the communication overhead for the core tensor in distributed settings. Second, the low data-dependence of SGD$\_$Tucker enables fine-grained parallelization, which makes SGD$\_$Tucker obtaining lower computational overheads with the same accuracy. Experimental results show that SGD$\_$Tucker runs at least 2$X$ faster than the state of the art.

연구 동기 및 목표

• 고차원, 고차원, 희소 텐서(HOHDST) 분해에서 중간 변수 폭발 문제를 해결하기 위해.
• 희소 텐서 분해(STD)의 분산 환경에서 효율적인 병렬 처리와 통신 오버헤드 감소를 위해.
• 대규모 텐서 학습에서 계산 오버헤드를 크게 줄이면서도 높은 정확도와 수렴 속도를 유지하기 위해.
• Spark와 Hadoop와 같은 빅데이터 플랫폼에 적합한 확장성 있고 데이터 의존도가 낮은 최적화 전략을 설계하기 위해.

제안 방법

• 전체 텐서 순회를 피하는 새로운 스트로스틱 최적화 목표 함수를 제안하여 희소 텐서 분해(STD)에 적용한다.
• 고차원 중간 변수(예: 카트라이-라오 곱과 크로네커 곱)를 작은 무작위 배치로 분할하여 점진적 처리를 수행한다.
• 모든 요소가 아닌 무작위로 샘플된 텐서 요소에서 기울기를 근사하기 위해 확률적 경사 하강법(SGD)을 사용한다.
• 낮은 데이터 의존도를 활용하여 분산 시스템 간 세분화된 병렬 처리를 가능하게 한다.
• 메모리 압박과 분산 환경에서의 통신 비용을 줄이기 위한 배치 기반 계산 전략을 도입한다.
• 스토스틱 샘플링에도 불구하고 수렴성과 정확도를 유지하는 코어 텐서 업데이트 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 스트로스틱 최적화는 정확도를 희생시키지 않고 희소 텐서 분해에서 중간 변수 폭발 문제를 줄일 수 있는가?
• RQ2 SGD_Tucker는 다중 스레드 및 분산 환경에서 속도 향상과 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 SGD_Tucker는 분산 희소 텐서 분해 환경에서 통신 오버헤드를 어느 정도 감소시키는가?
• RQ4 P-Tucker와 CD와 같은 최신 기법들과 비교해 SGD_Tucker는 RMSE와 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 SGD_Tucker는 대규모 실세계 데이터셋에서 안정적인 수렴성과 강건성을 유지를 할 수 있는가?

주요 결과

• SGD_Tucker는 MovieLens과 Netflix와 같은 벤치마크 데이터셋에서 P-Tucker보다 최소 2배, CD보다 최대 20배의 속도 향상을 기록한다.
• 16개 스레드까지의 경우 근사 선형 속도 향상을 보이며, 68%의 효율성으로 11배의 속도 향상을 달성한다.
• SGD_Tucker는 최신 기법들과 비교해 유사한 RMSE와 MAE를 유지하여 스트로스틱 샘플링에도 불구하고 높은 정확도 유지 능력을 입증한다.
• 계산 시간은 랭크 크기와 선형적으로 증가하며, 코어 텐서 랭크 변화에 대해 최소한의 민감도를 보인다.
• 대규모 데이터셋에서 안정적인 수렴 행동을 보이며, 타 기법들에 비해 강건성과 확장성 측면에서 뛰어난 성능을 발휘한다.
• 낮은 데이터 의존도와 배치 처리 덕분에 분산 환경에서 통신 오버헤드를 효과적으로 줄일 수 있다.