[논문 리뷰] PLANC: Parallel Low Rank Approximation with Non-negativity Constraints

Srinivas Eswar, Koby Hayashi외 4명|arXiv (Cornell University)|2019. 08. 30.

Tensor decomposition and applications참고 문헌 52인용 수 5

한 줄 요약

이 논문은 대규모 밀집 텐서의 비음수 저질감 텐서 분해(비음수 CP 분해, NNCP)를 위한 확장성 있고 분산 메모리 기반의 병렬 프레임워크인 PLANC을 제안한다. 차원 트리와 GPU 가속을 통한 최적화된 MTTKRP 커널을 활용하여 계산을 가속화하며, 최대 512개 노드와 20GB의 뇌 영상 데이터에서 순차적 방법 대비 뚜렷한 성능 향상을 보이며 강력한 스케일링을 달성한다.

ABSTRACT

We consider the problem of low-rank approximation of massive dense non-negative tensor data, for example to discover latent patterns in video and imaging applications. As the size of data sets grows, single workstations are hitting bottlenecks in both computation time and available memory. We propose a distributed-memory parallel computing solution to handle massive data sets, loading the input data across the memories of multiple nodes and performing efficient and scalable parallel algorithms to compute the low-rank approximation. We present a software package called PLANC (Parallel Low Rank Approximation with Non-negativity Constraints), which implements our solution and allows for extension in terms of data (dense or sparse, matrices or tensors of any order), algorithm (e.g., from multiplicative updating techniques to alternating direction method of multipliers), and architecture (we exploit GPUs to accelerate the computation in this work).We describe our parallel distributions and algorithms, which are careful to avoid unnecessary communication and computation, show how to extend the software to include new algorithms and/or constraints, and report efficiency and scalability results for both synthetic and real-world data sets.

연구 동기 및 목표

• 대규모 비음수 텐서 데이터의 저질감 근사에서 발생하는 계산 및 메모리 병목 현상을 해결하기 위해.
• 통신과 로드 불균형을 최소화하는 확장성 있고 분산 메모리 기반의 병렬 알고리즘을 설계하기 위해.
• 고성능 아키텍처(특히 GPU 포함)에서 비음수 CP 분해를 효율적으로 실행하기 위해.
• 다양한 알고리즘, 데이터 유형, 제약 조건을 지원하는 확장 가능한 소프트웨어 프레임워크를 제공하기 위해.

제안 방법

• MTTKRP 연산 간의 중간 계산을 캐시하고 재사용하기 위해 차원 트리 데이터 구조를 활용하여 중복 작업을 줄인다.
• MTTKRP 계산 중 프로세서 간 데이터 이동을 최소화하는 통신 회피 병렬 알고리즘을 설계한다.
• HPC 클러스터에서 대규모 텐서 분해를 지원하기 위해 하이브리드 공유/분산 메모리 모델을 사용한다.
• 각 반복에서 두 개의 GEMM 연산으로 MTTKRP를 변환하여 고산술 밀도를 활용함으로써 GPU 가속을 통합한다.
• 모듈식 소프트웨어 인터페이스를 통해 다양한 최적화 알고리즘(MU, HALS, ADMM, 네스터로프 기반 등)을 지원한다.
• 비음수 선형 최소 제곱(NNLS) 해법기 및 업데이트 규칙에 대한 플러그인 아키텍처를 통해 새로운 알고리즘과 제약 조건에 대한 확장성을 제공한다.

실험 결과

연구 질문

• RQ1 MTTKRP에 대한 통신 회피 및 확장 가능한 병렬 알고리즘이 대규모 텐서 데이터에서 강력한 스케일링을 달성할 수 있는가?
• RQ2 차원 트리의 사용이 비음수 CP 분해에서 계산 비용을 어떻게 감소시키는가?
• RQ3 GPU 가속이 대규모 비음수 텐서 분해에서 성능 향상에 얼마나 기여하는가?
• RQ4 비음수 선형 최소 제곱(NNLS) 알고리즘의 선택이 병렬 환경에서 반복 시간과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 확장 가능한 알고리즘 지원을 통해 밀집 및 희소 텐서 데이터를 효율적으로 처리할 수 있는가?

주요 결과

• PLANC는 최대 512개 노드에서 20GB의 마우스 뇌 영상 데이터 세트에 대해 강력한 스케일링을 달성하며, 높은 효율성과 낮은 통신 오버헤드를 보였다.
• 차원 트리 최적화를 통해 MTTKRP에서 중복 계산을 줄여 중간 결과를 재사용함으로써 성능 향상이 뚜렷하게 향상되었다.
• GPU 가속은 GEMM 기반 MTTKRP 커널의 고산술 밀도를 활용하여 상당한 성능 향상을 제공했으며, 특히 국소 텐서 차원이 클 경우 두드러졌다.
• 프레임워크는 약 16,000개 노드(35TB 데이터)까지 약화 스케일링이 가능함을 확인하여 페타스케일 텐서 워크로드를 처리할 능력을 입증했다.
• 다양한 NNLS 알고리즘(예: 네스터로프 기반)은 반복 시간에 유의미한 차이를 보였으며, 이는 알고리즘 선택이 전체 솔루션 시간에 영향을 준다는 것을 시사한다.
• 소프트웨어 프레임워크는 밀집 NMF, 희소 NMF, 밀집 NTF를 포함한 다양한 알고리즘과 데이터 유형을 성공적으로 지원했으며, 향후 확장에 대한 유연성도 확보했다.