[논문 리뷰] Distributed Parallel Inference on Large Factor Graphs

Joseph E. Gonzalez, Yucheng Low외 2명|arXiv (Cornell University)|2012. 05. 09.

Bayesian Modeling and Causal Inference참고 문헌 16인용 수 51

한 줄 요약

이 논문은 120노드 클러스터에서 선형에서 초선형 성능 향상을 달성하기 위해 과다 분할된 그래프 컷, 신뢰 잔차 스케줄링, 균일한 워크 스플래시 연산을 사용하는 대규모 인과 그래프를 위한 분산 병렬 추론 알고리즘인 DBRSplash을 제안한다. 프로세서 간 스케줄링을 분리하고 메시지 업데이트보다 신뢰 업데이트를 우선시함으로써 비정규 그래프에서의 로드 밸런싱과 수렴성을 향상시켜 분산 메모리 시스템 내에서 효율적인 대규모 추론을 가능하게 한다.

ABSTRACT

As computer clusters become more common and the size of the problems encountered in the field of AI grows, there is an increasing demand for efficient parallel inference algorithms. We consider the problem of parallel inference on large factor graphs in the distributed memory setting of computer clusters. We develop a new efficient parallel inference algorithm, DBRSplash, which incorporates over-segmented graph partitioning, belief residual scheduling, and uniform work Splash operations. We empirically evaluate the DBRSplash algorithm on a 120 processor cluster and demonstrate linear to super-linear performance gains on large factor graph models.

연구 동기 및 목표

• 클러스터 환경에서 대규모 비정규 인과 그래프에서 효율적인 분산 추론을 해결하기 위해.
• 과다 분할된 그래프 컷을 통해 분산 신뢰 전파에서 로드 밸런싱을 향상시키고 통신 오버헤드를 감소시키기 위해.
• 메시지 기반 스케줄링에서 신뢰 기반 잔차 스케줄링으로 전환하여 비정규 그래프에서의 스케줄링 효율성을 향상시키기 위해.
• 분산 메모리 환경에서 대규모 클러스터에 스케일링하면서도 병렬 최적성을 유지하기 위해.
• 실세계 AI 워크로드에서 120프로세서 클러스터를 사용하여 선형에서 초선형 성능 스케일링을 입증하기 위해.

제안 방법

• 상태 분할을 가중치가 부여된 그래프 컷 문제로 수식화하여, 로드 밸런싱 향상을 위해 과다 분할을 사용하되 통신 비용 증가를 감수한다.
• 신뢰 잔차 스케줄링을 도입하여, 신뢰 추정치의 변화를 이용해 정점 업데이트의 우선순위를 정함으로써 수렴의 균일성을 향상시킨다.
• 균일한 워크 스플래시 연산을 적용하여 고도수 정점이 계산을 지배하지 않도록 고정 크기의 BFS 기반 업데이트 시퀀스를 적용한다.
• 분산 큐를 사용해 프로세서 간 스케줄링을 분리함으로써 메시지 전달 모델에서 확장 가능하고 비동기적 실행을 가능하게 한다.
• 공유 메모리에서의 ResidualSplash 알고리즘을 분산 메모리 환경에 적응시키기 위해 스케줄링 및 분할 전략을 재설계하여 확장성을 확보한다.
• 프로세서 간 통신을 오직 메시지 전달을 통해 수행하는 하이브리드 메시지 전달 모델을 사용하여 공유 메모리 병목 현상을 방지한다.

실험 결과

연구 질문

• RQ1 과다 분할된 그래프 컷이 통신 비용이 금지적이지 않은 한 분산 신뢰 전파에서 로드 밸런싱을 향상시킬 수 있는가?
• RQ2 비정규적이고 대규모 인과 그래프에서 신뢰 잔차 스케줄링이 메시지 기반 스케줄링보다 수렴 속도와 정확도에서 뛰어난가?
• RQ3 균일한 워크 스플래시 연산이 고도수 정점이 계산을 지배하지 않도록 하고 스케줄링의 공정성을 향상시킬 수 있는가?
• RQ4 확장 가능한 메시지 전달 알고리즘을 사용해 대규모 인과 그래프에서 분산 신뢰 전파에서 초선형 성능 향상을 달성할 수 있는가?
• RQ5 DBRSplash은 실세계 AI 워크로드에서 기존 방법과 비교해 120노드 클러스터에서 어떻게 스케일링되는가?

주요 결과

• DBRSplash은 대규모 인과 그래프 모델에서 120노드 클러스터에서 선형에서 초선형 성능 향상을 달성하여 뚜렷한 성능 향상을 보였다.
• uw-systems MLN에서 DBRSplash은 신뢰 잔차 스케줄링을 사용해 메시지 기반 스케줄링보다 더 빠른 수렴과 낮은 평균 L1 오차를 달성했다.
• cora-1 MLN에서 신뢰 잔차 스케줄링은 메시지 기반 스케줄링이 실패한 상황에서도 수렴을 가능하게 했으며, 특히 고도수 변수로 인해 발생하는 문제를 해결했다.
• 10배 과다 분할을 통해 로드 불균형이 감소하고 전체 실행 시간이 향상되었으며, 통신 비용 증가에도 불구하고 효과를 보였다.
• uw-languages와 같은 소규모 그래프에서는 20프로세서를 초과할 경우 통신 증가와 정확도 감소로 인해 성능이 저하되어 그래프 크기와 클러스터 크기 간의 상관관계가 중요함을 시사했다.
• 누적 엣지 업데이트 수를 분석한 결과, cora-1 MLN에서 신뢰 잔차 스케줄링은 메시지 기반 스케줄링 대비 총 작업량을 최대 30% 감소시켰다.