[논문 리뷰] PL-NMF: Parallel Locality-Optimized Non-negative Matrix Factorization

Gordon Euhyun Moon, Aravind Sukumaran-Rajam외 2명|arXiv (Cornell University)|2019. 04. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 HALS 기반의 병렬적이고 국소성 최적화된 비음수 행렬 분해(NMF) 알고리즘인 PL-NMF를 제안한다. 이 알고리즘은 알고리즘 재정렬과 3차원 타일링을 통해 데이터 국소성을 향상시켜 메모리 대역폭 병목 현상을 줄인다. 데이터 이동을 최소화하면서도 높은 수렴 정확도를 유지함으로써, 최신 CPU 및 GPU NMF 구현보다 최대 287.1×의 성능 향상을 달성한다.

ABSTRACT

Non-negative Matrix Factorization (NMF) is a key kernel for unsupervised dimension reduction used in a wide range of applications, including topic modeling, recommender systems and bioinformatics. Due to the compute-intensive nature of applications that must perform repeated NMF, several parallel implementations have been developed in the past. However, existing parallel NMF algorithms have not addressed data locality optimizations, which are critical for high performance since data movement costs greatly exceed the cost of arithmetic/logic operations on current computer systems. In this paper, we devise a parallel NMF algorithm based on the HALS (Hierarchical Alternating Least Squares) scheme that incorporates algorithmic transformations to enhance data locality. Efficient realizations of the algorithm on multi-core CPUs and GPUs are developed, demonstrating significant performance improvement over existing state-of-the-art parallel NMF algorithms.

연구 동기 및 목표

• 현대 메모리 계층에서 높은 데이터 이동 비용으로 인해 발생하는 병렬 NMF의 성능 저하 문제를 해결하기 위해.
• 수렴 정확도를 훼손하지 않으면서 데이터 국소성을 최적화하여 NMF 알고리즘의 효율성을 향상시키기 위해.
• 다중 코어 CPU와 GPU를 대상으로 국소성 인식 알고리즘 변환을 활용한 확장성 있고 고성능의 NMF 구현을 개발하기 위해.
• 데이터 이동 오버헤드를 체계적으로 분석하고 성능을 위한 최적의 타일 크기를 도출하기 위해.
• 속도와 수렴 효율성 측면에서 기존 최신 기술의 병렬 NMF 구현을 능가하기 위해.

제안 방법

• 덧셈의 결합법칙을 활용해 행렬 갱신에서 덧셈 항목의 순서를 재정렬함으로써, 3차원 타일링이 가능한 FAST-HALS NMF 알고리즘을 재구성한다.
• 핵심 계산인 $WH$ 및 $H^TH$ 갱신에 3차원 타일링을 적용하여 데이터 재사용을 향상시키고 외부 메모리 트래픽을 감소시킨다.
• $W$에 대한 두 단계 갱신 전략을 설계하여 반복적인 밀도 높은 행렬-벡터 곱셈을 최적화된 밀도 높은 행렬-행렬 곱셈(DMM)으로 대체한다.
• 모든 구현에서 공정한 성능 비교를 위해 동일한 BLAS 프리미티브(예: GPU의 cuBLAS, CPU의 MKL)를 사용한다.
• 타일 크기를 함수로 하는 데이터 이동 비용 모델을 유도하여 다양한 하드웨어 플랫폼에 최적의 타일 선택을 안내한다.
• 다중 코어 CPU와 GPU 모두에 PL-NMF를 구현하였으며, 최적화된 메모리 접근 패턴과 스레드 수준의 병렬성을 구현하였다.

실험 결과

연구 질문

• RQ1 병렬 NMF에서 메모리 대역폭 오버헤드를 줄이기 위해 데이터 국소성을 어떻게 체계적으로 향상시킬 수 있는가?
• RQ2 수학적 결과에 영향을 주지 않으면서도 효과적인 3차원 타일링을 가능하게 하는 알고리즘 변환은 무엇인가?
• RQ3 타일 크기의 선택이 NMF 워크로드에서 데이터 이동과 전체 성능에 어떤 영향을 미치는가?
• RQ4 국소성 최적화된 NMF 구현은 기존 최신 기술의 병렬 NMF 알고리즘보다 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ5 제안된 방법은 표준 HALS 및 기타 NMF 변종과 비교해 수렴 정확도를 어느 정도 유지하는가?

주요 결과

• PL-NMF-cpu는 20 Newsgroups, TDT2, Reuters, AT&T, PIE 데이터셋에서 각각 K=240일 때 반복당 3.07×, 3.06×, 5.81×, 3.02×, 3.07×의 성능 향상을 기록했다.
• PIE 데이터셋에서 상대 오차 0.12에 도달했을 때, PL-NMF-gpu는 PL-NMF-cpu, planc-HALS-cpu, bionmf-MU-gpu, planc-MU-cpu보다 각각 3.49×, 9.74×, 26.41×, 287.1×의 성능 향상을 기록했다.
• PL-NMF-cpu는 반복적인 DMV 연산을 최적화된 DMM과 단계별 계산으로 대체함으로써 $W$ 갱신 시간을 20 Newsgroups 데이터셋에서 2.039초에서 0.033초로 단축시켰다.
• 데이터 이동 비용 모델을 통해 최적의 타일 크기 선택이 가능해졌으며, 이는 CPU와 GPU 양쪽에서 고성능 달성에 핵심적인 역할을 했다.
• PL-NMF는 원본 FAST-HALS 및 planc-HALS-cpu와 동일한 해의 정확도를 유지함으로써, 국소성 최적화가 수렴 정확도를 떨어뜨리지 않음을 확인했다.
• 성능 향상은 특히 밀도 높은 행렬에서 두드러졌으며, 최고의 성능 향상(287.1×)은 PIE 이미지 데이터셋에서 관찰되어, 메모리 기반 워크로드에서 타일링 전략의 효과성을 입증했다.