[논문 리뷰] NOMAD: Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion

Hyokun Yun, Hsiang‐Fu Yu외 3명|arXiv (Cornell University)|2013. 12. 01.

Blind Source Separation Techniques참고 문헌 5인용 수 32

한 줄 요약

NOMAD는 대규모 행렬 완성에 대한 잠금 없고 탈중앙화되며 비동기적인 확률적 알고리즘으로, 동기화 병목 현상을 제거함으로써 일반 하드웨어에서 효율적인 병렬 계산을 가능하게 한다. 다중 코어 및 분산 메모리 환경에서 최신 기술 대비 뛰어난 수렴성과 확장성을 보이며, 특히 데이터 크기와 머신 수가 증가할수록 유의미한 성능 향상을 보인다.

ABSTRACT

We develop an efficient parallel distributed algorithm for matrix completion, named NOMAD (Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion). NOMAD is a decentralized algorithm with non-blocking communication between processors. One of the key features of NOMAD is that the ownership of a variable is asynchronously transferred between processors in a decentralized fashion. As a consequence it is a lock-free parallel algorithm. In spite of being an asynchronous algorithm, the variable updates of NOMAD are serializable, that is, there is an equivalent update ordering in a serial implementation. NOMAD outperforms synchronous algorithms which require explicit bulk synchronization after every iteration: our extensive empirical evaluation shows that not only does our algorithm perform well in distributed setting on commodity hardware, but also outperforms state-of-the-art algorithms on a HPC cluster both in multi-core and distributed memory settings.

연구 동기 및 목표

• 제한된 대역폭과 신뢰할 수 없는 네트워크를 가진 일반 하드웨어에서 기존 행렬 완성 알고리즘의 비효율성을 해결한다.
• 동기 분산 시스템에서 흔히 발생하는 동기화 오버헤드를 피하는 확장 가능한 병렬 알고리즘을 개발한다.
• 순서적 업데이트의 등가 순서가 존재함을 보장함으로써 일관성 있는 업데이트를 보장하는 비동기 탈중앙화 계산을 활용해 대규모 데이터셋에서 고성능 행렬 완성을 가능하게 한다.
• 공유 메모리 및 분산 메모리 환경에서 최신 기술 대비 더 나은 수렴성과 성능을 달성한다.
• 실제 협업 필터링 워크로드를 시뮬레이션하기 위해 데이터 크기와 머신 수가 동시에 증가할 때도 강력한 확장성을 입증한다.

제안 방법

• 모든 프로세서가 동일한 계산 및 통신 작업을 수행하는 탈중앙화된 대칭 아키텍처를 사용한다.
• 변수 소유권을 프로세서 간에 동적으로 할당함으로써 잠금을 제거하는 소유자-계산 파라다임을 적용한다.
• 각 반복 후에 대량의 동기화가 발생하지 않도록 비차단적 비동기 통신을 가능하게 한다.
• 업데이트의 순서 가능성을 보장함으로써 일관성을 확보하며, 오래된 매개변수 사용을 방지한다.
• 관측된 항목들에 대해 분리 가능한 목적 함수를 가진 가중 제곱 손실과 L2 정규화를 적용한 확률적 경사 하강법을 사용한다.
• 임의의 분리 가능한 손실 함수와 정규화를 지원하며, 본 논문에서는 제곱 손실과 가중 프로베니우스 노름 정규화에 집중한다.

실험 결과

연구 질문

• RQ1 일반 하드웨어에서 동기 또는 차단형 알고리즘보다 우수한 성능을 내기 위해 탈중앙화된 잠금 없는 비동기 알고리즘이 가능할 수 있는가?
• RQ2 분산 메모리 환경에서 머신 수와 데이터 크기가 증가함에 따라 NOMAD는 어떻게 확장되는가?
• RQ3 동기화 장벽이 없는 것이 실세계 협업 필터링 워크로드에서 더 빠른 수렴성과 향상된 성능을 이끌어내는가?
• RQ4 수렴 속도와 해의 품질 측면에서 NOMAD는 DSGD, DSGD++, 및 CCD++과 같은 최신 기술 대비 어떻게 비교되는가?
• RQ5 데이터셋 크기와 머신 수가 비례하여 증가할 때 NOMAD는 높은 성능과 확장성을 유지할 수 있는가?

주요 결과

• 단일 머신에서 최대 30개 스레드까지 근사 선형 확장성을 달성하여 다중 코어 성능이 뛰어나다.
• 고정된 데이터셋에서 NOMAD는 최대 32台의 머신에 걸쳐 거의 선형적으로 확장되며, 동기 및 다른 비동기 기준보다 뛰어나다.
• 일반 하드웨어 클러스터에서는 HPC 클러스터 대비 DSGD, DSGD++, 및 CCD++에 비해 더 두드러진 성능 우위를 보였다.
• 데이터 크기와 머신 수가 비례하여 증가할 때 NOMAD는 우수한 확장성 행동을 유지하며, 규모가 증가할수록 성능 격차가 더욱 벌어진다.
• Netflix를 모방하는 합성 데이터셋 실험에서 NOMAD는 DSGD++ 및 기타 경쟁자들을 일관되게 능가했으며, 특히 규모가 클수록 두드러진 성능 향상을 보였다.
• 알고리즘의 순서 가능 업데이트 메커니즘은 동기화 없이도 정확성을 보장하며, 오래된 매개변수를 사용하는 방법보다 더 빠른 수렴을 가능하게 한다.