[논문 리뷰] Randomized Online CP Decomposition

Congbo Ma, Xiaowei Yang외 1명|arXiv (Cornell University)|2020. 07. 21.

Tensor decomposition and applications인용 수 6

한 줄 요약

이 논문은 대규모 고차원 텐서의 CP 분해를 가속화하기 위해 랜덤 샘플링과 온라인 학습을 융합한 새로운 알고리즘인 랜덤화 온라인 CP 분해(ROCP)를 제안한다. 전체 카티-라오 곱을 명시적으로 구성하지 않음으로써 ROCP는 메모리 사용량과 계산 시간을 크게 감소시키며, 합성 및 실세계 데이터셋 모두에서 뛰어난 효율성을 입증하면서도 분해 정확도를 유지한다.

ABSTRACT

CANDECOMP/PARAFAC (CP) decomposition has been widely used to deal with multi-way data. For real-time or large-scale tensors, based on the ideas of randomized-sampling CP decomposition algorithm and online CP decomposition algorithm, a novel CP decomposition algorithm called randomized online CP decomposition (ROCP) is proposed in this paper. The proposed algorithm can avoid forming full Khatri-Rao product, which leads to boost the speed largely and reduce memory usage. The experimental results on synthetic data and real-world data show the ROCP algorithm is able to cope with CP decomposition for large-scale tensors with arbitrary number of dimensions. In addition, ROCP can reduce the computing time and memory usage dramatically, especially for large-scale tensors.

연구 동기 및 목표

• 대규모 텐서에서 전통적 CP 분해의 계산 및 메모리 병목 현상을 해결하기 위해.
• 온라인 학습 원리를 통합하여 실시간 또는 스트리밍 텐서 분해를 가능하게 하기 위해.
• CP 분해의 주요 병목 현상인 카티-라오 곱을 형성하는 데 드는 계산 비용을 줄이기 위해.
• 정확도를 유지하면서도 임의의 수의 모드를 가진 텐서로도 CP 분해를 스케일링하기 위해.
• 실세계 및 합성 대규모 텐서 데이터에 대한 효율적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• ROCP 알고리즘은 카티-라오 곱을 명시적으로 계산하지 않고도 이를 근사하기 위해 랜덤 샘플링을 사용한다.
• 새로운 텐서 슬라이스가 도착함에 따라 인크리멘탈 방식으로 인자 행렬을 업데이트하기 위해 온라인 학습 프레임워크를 적용한다.
• 중간 계산의 차원을 줄이기 위해 저랭크 근사 기법을 활용한다.
• 샘플된 텐서 요소에 기반한 확률적 경사 하강법을 사용하여 인자 행렬을 동적으로 유지하고 업데이트한다.
• 완전한 중간 텐서를 저장하지 않음으로써 메모리 사용량을 크게 줄인다.
• 각 모드를 온라인 방식으로 순차적으로 처리함으로써 임의의 순서의 텐서를 지원한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링이 온라인 CP 분해에서 전체 카티-라오 곱 계산을 효과적으로 대체할 수 있는가?
• RQ2 대규모 텐서에서 표준 CP 분해와 비교해 ROCP의 속도 및 메모리 효율성은 어떠한가?
• RQ3 계산 오버헤드를 줄이면서도 ROCP가 분해 정확도를 어느 정도 유지할 수 있는가?
• RQ4 스트리밍 또는 실시간 환경에서 ROCP가 임의의 수의 모드를 가진 텐서로도 스케일링 가능한가?
• RQ5 합성 및 실세계 데이터셋 모두에서 ROCP의 수렴성과 재구성 오차 측면에서 성능은 어떠한가?

주요 결과

• ROCP는 전체 카티-라오 곱 형성 방지를 통해 대규모 텐서에서 계산 시간을 극적으로 감소시킨다.
• 알고리즘이 큰 중간 행렬을 저장하지 않기 때문에 메모리 사용량이 크게 감소한다.
• 합성 및 실세계 데이터셋 모두에서 표준 CP 분해와 비교해 높은 분해 정확도를 유지한다.
• 임의의 수의 모드를 가진 텐서로도 효과적으로 스케일링되어 고차원 복잡한 데이터에의 응용을 가능하게 한다.
• 실험 결과, ROCP는 온라인 및 스트리밍 환경에서 빠른 수렴과 안정된 성능을 보였다.
• 재구성 품질을 희생시키지 않고도 기준 대비 속도 및 메모리 효율성에서 뛰어난 성능을 발휘한다.