[논문 리뷰] Fast and Faster: A Comparison of Two Streamed Matrix Decomposition Algorithms

Radim Řehůřek|arXiv (Cornell University)|2011. 02. 28.

Data Mining Algorithms and Applications인용 수 4

한 줄 요약

이 논문은 한 번의 스트림 처리로 작동하는 분산 행렬 분해 알고리즘(P1)과 두 번의 스트림 처리를 하는 확률적 알고리즘(P2)을 비교하며, P2의 빠른 속도와 P1의 한 번 처리 정확도를 결합한 새로운 하이브리드(P12) 알고리즘을 제안한다. 영문 위키백과 코퍼스에서 P12는 단일 머신에서 4시간 20분, 4노드 클러스터에서 1시간 41분에 행렬 분해를 완료하여 최적화된 오버샘플링과 파wer 반복을 사용할 경우 P2보다 빠른 속도를 보이며 경쟁 가능한 정확도를 유지한다.

ABSTRACT

With the explosion of the size of digital dataset, the limiting factor for decomposition algorithms is the \\emph{number of passes} over the input, as the input is often stored out-of-core or even off-site. Moreover, we're only interested in algorithms that operate in \\emph{constant memory} w.r.t. to the input size, so that arbitrarily large input can be processed. In this paper, we present a practical comparison of two such algorithms: a distributed method that operates in a single pass over the input vs. a streamed two-pass stochastic algorithm. The experiments track the effect of distributed computing, oversampling and memory trade-offs on the accuracy and performance of the two algorithms. To ensure meaningful results, we choose the input to be a real dataset, namely the whole of the English Wikipedia, in the application settings of Latent Semantic Analysis.

연구 동기 및 목표

• 대규모 위키백과에서의 스트리밍 행렬 분해 알고리즘으로서 한 번 처리와 두 번 처리 방식의 정확도, 성능, 확장성 측면에서의 상호 상충 관계를 평가하기 위해.
• 입력 순서, 오버샘플링, 파워 반복의 영향이 스트리밍 환경에서의 분해 품질에 미치는 영향을 조사하기 위해.
• 두 번 처리 방법의 속도와 분산 한 번 처리 방법의 메모리 효율성 및 정확도를 결합한 하이브리드 알고리즘(P12)을 설계하고 구현하기 위해.
• 실제 대규모 데이터셋(영문 위키백과)을 사용하여 분산 컴퓨팅이 알고리즘의 성능과 확장성에 미치는 영향을 평가하기 위해.

제안 방법

• 문서 조각을 병렬로 처리하는 한 번 처리 분산 알고리즘(P1)을 구현하며, 각 조각에 대해 SVDLIBC를 사용해 메모리 내 SVD를 수행하고, 결과를 병합하여 전역 분해를 생성한다.
• Halko 등(2009)의 두 번 처리 확률적 알고리즘(P2)을 수정하여 관찰값을 스트리밍 방식으로 처리하고, 전체 행렬 곱셈을 피하기 위해 샘플 행렬을 점진적으로 계산함으로써 일정한 메모리 사용량을 유지하도록 한다.
• P1의 메모리 내 SVD를 P2의 더 빠른 확률적 분해로 대체하여, 한 번 처리 방식을 유지하면서도 속도를 향상시키는 하이브리드 알고리즘(P12)을 개발한다.
• P2에서 오버샘플링과 파워 반복을 적용하여 정확도를 향상시키되, 추가적인 반복을 수반함을 평가하고, 성능과 수렴 속도에 미치는 영향을 분석한다.
• TF-IDF 벡터화를 사용하여 320만 개의 영문 위키백과 문서로 구성된 실세계 데이터셋에 대해 잠재의미분석(LSA)을 수행한다.
• 다양한 조각 크기, 입력 순서, 클러스터 구성(1~4노드)에서 성능을 평가하며, 벽시계 시간과 특이값 분석을 통한 분해 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 대규모 실세계 데이터셋에서 동일한 조건 하에 한 번 처리 분산 알고리즘(P1)의 정확도가 두 번 처리 확률적 알고리즘(P2)보다 어떻게 다를까?
• RQ2 특히 무작위화가 없는 경우에 입력 스트림 순서가 한 번 처리 알고리즘의 분해 품질에 얼마나 큰 영향을 미치는가?
• RQ3 오버샘플링과 파워 반복은 두 번 처리 확률적 알고리즘(P2)의 정확도 향상에 얼마나 효과적인가? 성능에 어떤 비용이 수반되는가?
• RQ4 하이브리드 알고리즘(P12)은 P2의 속도와 P1의 한 번 처리 정확도를 성공적으로 융합할 수 있는가? 그리고 분산 클러스터에서 어떻게 확장되는가?
• RQ5 조각 크기와 클러스터 크기가 분산 환경에서의 한 번 처리 알고리즘(P1과 P12)의 런타임과 정확도에 어떤 영향을 미치는가?

주요 결과

• 최적화된 오버샘플링과 파워 반복을 사용할 경우, 하이브리드 P12 알고리즘은 단일 2GHz 머신에서 4시간 20분에 행렬 분해를 완료하여, 두 번 처리 P2 알고리즘(3시간 6분)보다 빠른 성능을 보였다.
• 4노드 클러스터에서 P12 알고리즘은 단지 1시간 41분에 분해를 완료하여 계산 노드 수에 비례하는 강력한 선형 확장성을 보였다.
• 한 번 처리 P1 알고리즘은 입력 순서에 매우 민감했다: 알파벳 순서로 정렬된 입력에서 유도된 특이값은 무작위화된 입력보다 정확도가 떨어졌으며, 이는 부분공간 이탈 문제를 시사한다.
• P2에서 오버샘플링과 파워 반복은 정확도를 크게 향상시켰지만, 런타임이 증가하는 비용을 수반함을 보여주며, 스트리밍 환경에서 정확도와 반복 효율성 사이의 상충관계를 입증한다.
• 두 번 처리 P2 알고리즘은 다수의 반복으로 인한 I/O 병목 현상으로 인해 분산 처리에 이점을 얻지 못했으며, 데이터가 이미 사전에 분산되어 있지 않은 한 네트워크나 분산 환경에서는 적합하지 않다.
• 하이브리드 P12 알고리즘은 P1 수준의 높은 정확도를 유지하면서도 P2보다 더 빠른 성능을 달성하여, 확률적 처리의 빠른 속도와 분산 한 번 처리의 강건성을 융합하는 것이 실현 가능함을 입증했다.