[논문 리뷰] Unwrapping ADMM: Efficient Distributed Computing via Transpose Reduction

Tom Goldstein, Gavin Taylor외 2명|arXiv (Cornell University)|2015. 04. 08.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 전치 감소 ADMM를 제안하며, 전체 데이터셋에 걸쳐 글로벌 최소제곱 하위문제를 매트릭스 전치 연산을 사용해 분산으로 해결하는 분산 최적화 방법이다. 이로 인해 비용이 많이 드는 내부 루프를 제거함으로써 공감 ADMM보다 더 빠른 수렴 속도를 달성한다. 데이터 비균형 환경에서도 통신 오버헤드를 줄이고 동기화를 향상시켜 5TB 데이터셋에서 7,000개 이상의 코어를 사용할 때까지 최대 7배의 성능 향상을 이룬다.

ABSTRACT

Recent approaches to distributed model fitting rely heavily on consensus ADMM, where each node solves small sub-problems using only local data. We propose iterative methods that solve {\em global} sub-problems over an entire distributed dataset. This is possible using transpose reduction strategies that allow a single node to solve least-squares over massive datasets without putting all the data in one place. This results in simple iterative methods that avoid the expensive inner loops required for consensus methods. To demonstrate the efficiency of this approach, we fit linear classifiers and sparse linear models to datasets over 5 Tb in size using a distributed implementation with over 7000 cores in far less time than previous approaches.

연구 동기 및 목표

• 대규모 분산 최적화에서 공감 ADMM의 비효율성, 특히 비용이 많이 드는 내부 반복과 통신 병목 현상을 해결하기 위해.
• 전치 감소 기법을 활용해 분산된 데이터셋에 대해 단일 머신에서 글로벌 하위문제를 해결할 수 있도록 하기 위해.
• 공감 방법이 어려운 데이터 비균형 환경에서 수렴 속도와 확장성을 향상시키기 위해.
• 글로벌 매트릭스 연산을 활용해 분산 모델 피팅에서 통신 오버헤드와 계산 시간을 줄이기 위해.

제안 방법

• 전치 감소를 사용해 $ D^T D $를 분산적으로 계산하여, 모든 데이터를 한 노드로 중앙집중화하지 않고도 글로벌 최소제곱 문제를 한 노드에서 해결할 수 있도록 한다.
• 서브문제를 풀이할 때 반복적 계산을 피하기 위해 좌표별로 분리 가능한 서브문제를 사용하고, 이를 닫힌 형태로 해석한다.
• 중앙집중식 솔버가 국소 그램 매트릭스 $ D_i^T D_i $를 집계해 $ D^T D $를 구성한 후, 반복마다 한 번만 역행렬을 계산한다.
• 반복마다 단일 노드 계산 모델을 사용하여 공감 ADMM에 비해 동기화 문제를 줄인다.
• 행의 수 $ m \gg n $ 일 때 $ D^T D $ 가 $ D $ 보다 작아지므로 글로벌 최적화가 가능하다는 사실을 활용한다.
• 반복당 $ O(m) $의 데이터만 전송하는 통신 효율적인 프로토콜을 구현하여, 공감 ADMM의 $ O(Nn) $ 대비 통신 비용을 줄였다.

실험 결과

연구 질문

• RQ1 모든 분산 데이터셋에 걸친 글로벌 하위문제를 모든 데이터를 한 노드로 옮기지 않고도 효율적으로 해결할 수 있는가?
• RQ2 전치 감소 기법이 통신, 계산 및 수렴 속도 측면에서 공감 ADMM에 비해 어떻게 비교되는가?
• RQ3 공감 ADMM가 어려움을 겪는 데이터 비균형 환경에서도 제안된 방법이 효율성을 유지하는가?
• RQ4 계산 코어 수가 증가함에 따라 전치 감소 ADMM의 확장성은 어떻게 되는가?
• RQ5 서브문제에 대해 닫힌 형태의 해를 구현함으로써 공감 ADMM의 런타임을 지배하는 비용이 많이 드는 내부 반복을 제거할 수 있는가?

주요 결과

• 전치 감소 ADMM는 5TB 데이터셋에서 7,000개 이상의 코어를 사용할 때 공감 ADMM 대비 최대 7배의 성능 향상을 달성했다.
• 시작 비용이 더 높더라도 반복당 계산 비용이 낮고 동기화가 더 우수하여 벽시계 시간이 크게 감소했다.
• GSC-II 데이터셋과 같이 비균형 데이터 환경에서는 전치 감소 ADMM가 공감 ADMM보다 3~5배 빠르게 작동했다. 이는 글로벌 문제 해결 덕분이었다.
• 실제로는 반복당 $ O(m) $의 데이터를 전송했음에도 불구하고, 차단이 줄어들고 동기화가 더 우수하여 통신 비용이 낮아졌다.
• 코어 수 증가에 따라 벽시계 시간이 선형 이상으로 증가하지 않고, 하향 경향을 보였으며, 공감 ADMM는 통신 병목 현상으로 인해 확장성이 떨어졌다.
• 좌표별로 분리 가능한 서브문제 덕분에 닫힌 형태의 해를 도출할 수 있었고, 이로 인해 공감 ADMM의 런타임을 지배하는 반복적 내부 루프를 제거할 수 있었다.