[논문 리뷰] DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization

Tianxiang Gao, Chris Chu|arXiv (Cornell University)|2018. 02. 25.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 분산 메모리 시스템에서 효율적이고 확장 가능한 NMF를 가능하게 하는 분산 증분 블록 좌표강하 알고리즘인 DID를 제안한다. 매 반복마다 가장 최근 잔차를 사용하여 인자 행렬을 증분적으로 업데이트하고, 반복당 단일 통신 단계만을 요구함으로써, 기존 방법들과 비교해 더 빠른 수렴 속도와 선형 확장성을 달성한다. 특히 10^8개의 샘플을 포함한 대규모 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Nonnegative matrix factorization (NMF) has attracted much attention in the last decade as a dimension reduction method in many applications. Due to the explosion in the size of data, naturally the samples are collected and stored distributively in local computational nodes. Thus, there is a growing need to develop algorithms in a distributed memory architecture. We propose a novel distributed algorithm, called extit{distributed incremental block coordinate descent} (DID), to solve the problem. By adapting the block coordinate descent framework, closed-form update rules are obtained in DID. Moreover, DID performs updates incrementally based on the most recently updated residual matrix. As a result, only one communication step per iteration is required. The correctness, efficiency, and scalability of the proposed algorithm are verified in a series of numerical experiments.

연구 동기 및 목표

• 단일 머신의 메모리에 들어가지 않는 대규모 데이터셋에 대해 비음수 행렬 분해(NMF)를 확장하는 데 도전한다.
• 현대 클러스터 아키텍처에 적합한 분산 알고리즘을 설계하여 중심화된 NMF 알고리즘의 한계를 극복한다.
• 반복당 동기화 단계 수를 최소화하여 분산 NMF의 통신 오버헤드를 줄인다.
• 기존의 분산 NMF 방법들과 비교해 대규모 시뮬레이션 및 실세계 데이터셋에서 더 빠른 수렴 속도와 선형 확장성을 달성한다.

제안 방법

• 데이터 행렬 X와 인자 행렬 C를 열을 블록으로 나누어 계산 노드에 분산 배포함으로써 C의 병렬 업데이트를 가능하게 한다.
• 가장 최근에 업데이트된 잔차 행렬을 활용하여 기저 행렬 B에 대한 증분 업데이트 전략을 사용함으로써 수렴 속도를 향상시킨다.
• 블록 좌표강하를 사용하여 B와 C의 폐쇄형 업데이트 규칙을 유도함으로써 계산 효율성을 확보한다.
• 메시지 전달 인터페이스(MPI)를 사용하여 구현하며, 동기화를 위한 마스터 프로세서가 필요 없게 하여 확장성을 향상시킨다.
• 필요한 중간 변수(예: δb)만을 전파함으로써 반복당 단일 통신 단계로 통신을 제한함으로써 네트워크 오버헤드를 감소시킨다.
• 수치적 불안정성 방지를 위해 잘 스케일링된 초기값과 K-means 초기화를 적용하여 B 또는 C의 근접 영역에서의 노름이 매우 작은 경우를 방지한다.

실험 결과

연구 질문

• RQ1 대규모 환경에서 최소한의 통신 오버헤드로 빠른 수렴을 달성할 수 있는 분산 NMF 알고리즘을 설계할 수 있는가?
• RQ2 가장 최근의 잔차를 사용하여 기저 행렬 B를 증분적으로 업데이트하는 방식이 배치 또는 순차적 업데이트와 비교해 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 알고리즘이 데이터 크기와 계산 노드 수가 증가함에 따라 선형적으로 확장되는 정도는 어느 정도인가?
• RQ4 수렴 속도와 통신 비용 측면에서 기존의 분산 NMF 방법들인 D-HALS, HPC-ANLS, Maxios와 비교해 성능가능한가?
• RQ5 희박한 데이터와 조밀한 실세계 데이터셋 모두에 적용했을 때 알고리즘이 수치적 안정성과 정확성을 유지할 수 있는가?

주요 결과

• DID는 HALS, BCD, DBCD 등 다른 분산 NMF 방법들과 비교해 런타임 측면에서 더 빠른 수렴 속도를 보이며, 16개 노드에서 DBCD 대비 최대 10–15%의 성능 향상을 달성한다.
• 샘플 수에 따라 런타임이 비례적으로 증가함에 따라 N이 10^5에서 10^8로 증가할 때까지 선형 확장성을 보인다.
• 반복당 단일 통신 단계만을 요구하므로, HPC-ANLS(6단계) 및 Maxios(8단계)와 같은 방법들에 비해 통신 오버헤드를 크게 감소시킨다.
• MNIST 및 20News와 같은 희박한 데이터셋에서는 HPC-ANLS가 정확한 NNLS 하위문제 해결 덕분에 더 우수한 성능을 보이지만, DID는 경쟁력 있고 확장 가능한 성능을 유지한다.
• BCD 및 DBCD와 동일한 반복 수를 유지함으로써 정확성이 확인되었으며, 이는 업데이트 규칙이 수학적으로 동일함을 의미한다.
• 합성 및 실세계 데이터셋(조밀한 UMist, YaleB, 희박한 MNIST, 20News) 모두에서 알고리즘이 강건하게 작동하며 일관된 성능을 보였다.