[논문 리뷰] Distributed TensorFlow with MPI

Abhinav Vishnu, Charles Siegel외 1명|arXiv (Cornell University)|2016. 03. 07.

Parallel Computing and Optimization Techniques참고 문헌 8인용 수 34

한 줄 요약

이 논문은 메시지 전달 인터페이스(MPI)를 사용하여 대규모 분산 클러스터에서 Tensorflow를 실행하기 위한 최소한의 확장 방법을 제안한다. 이 방법은 Tensorflow 런타임을 수정하지 않고도 여러 노드 간에 효율적인 병렬 학습을 가능하게 하며, 최대 64개의 코어에서 강력한 스케일링 성능을 보이며 CIFAR-10-DNN에서 3.37배의 속도 향상과 Higgs 데이터에서 2.6배의 성능 향상을 달성한다. 이는 대규모 머신러닝 워크로드에 대한 효율성과 확장성의 증거이다.

ABSTRACT

Machine Learning and Data Mining (MLDM) algorithms are becoming increasingly important in analyzing large volume of data generated by simulations, experiments and mobile devices. With increasing data volume, distributed memory systems (such as tightly connected supercomputers or cloud computing systems) are becoming important in designing in-memory and massively parallel MLDM algorithms. Yet, the majority of open source MLDM software is limited to sequential execution with a few supporting multi-core/many-core execution. In this paper, we extend recently proposed Google TensorFlow for execution on large scale clusters using Message Passing Interface (MPI). Our approach requires minimal changes to the TensorFlow runtime -- making the proposed implementation generic and readily usable to increasingly large users of TensorFlow. We evaluate our implementation using an InfiniBand cluster and several well knowndatasets. Our evaluation indicates the efficiency of our proposed implementation.

연구 동기 및 목표

• Tensorflow의 기능을 단일 노드 실행을 넘어서 클러스터에서 대규모 분산 학습을 지원하도록 확장하기 위해.
• 모델링 및 실험에서 점점 커지는 데이터셋을 처리할 때 Tensorflow의 단일 노드 제약를 해결하기 위해.
• 분산 메모리 시스템에서 효율적인 노드 간 조율을 보장하기 위해 MPI를 통신 기반으로 활용하기 위해.
• Tensorflow 런타임에 대한 변경 사항 없이도 후행 호환성을 유지하기 위해.
• 제안된 MPI 기반 확장의 확장성과 성능을 실제 워크로드 데이터셋에서 평가하기 위해.

제안 방법

• 분산 Tensorflow 환경에서 워커 노드 간의 통신 레이어로 MPI를 통합하여 노드 간 동기화 및 파라미터 교환을 가능하게 한다.
• Tensorflow의 기존 계산 그래프와 세션 모델을 유지하면서도 분산 작업을 위한 확장성을 제공한다.
• MPI를 사용하여 파라미터 서버와 워커 역할을 구현하여 모델 파라미터 배포 및 기울기 집계를 효율적으로 수행한다.
• 핵심 컴ponent에 깊이 통합하지 않고도 MPI를 통해 분산 조율를 추상화함으로써 Tensorflow 런타임에 대한 변경 사항을 최소화한다.
• 제어 종속성과 MPI를 통한 변수 동기화를 활용하여 노드 간 학습 일관성을 유지한다.
• 각 노드에서 성능을 극대화하기 위해 Tensorflow의 C++ 백엔드와 최적화된 선형 대수 라이브러리를 활용한다.

실험 결과

연구 질문

• RQ1 가벼운, 최소한의 변경 사항을 가진 접근 방식을 통해 Tensorflow가 대규모 클러스터로 효과적으로 확장될 수 있는가?
• RQ2 MPI를 통신 레이어로 사용할 경우 Tensorflow의 성능 특성을 유지하면서도 분산 학습을 가능하게 할 수 있는가?
• RQ3 제안된 MPI 기반 확장이 실제 머신러닝 워크로드 데이터셋에서 코어 및 노드 수 증가에 따라 어떻게 스케일링되는가?
• RQ4 단일 노드 Tensorflow 대비 분산 구현의 성능 오버헤드와 속도 향상은 어떠한가?
• RQ5 이 확장은 MNIST, CIFAR-10, Higgs, Adult와 같은 데이터셋에서 DNN, CNN, 표본 데이터 등 다양한 머신러닝 워크로드를 효율적으로 처리할 수 있는가?

주요 결과

• 제안된 MPI 기반 확장은 64개 코어를 사용할 때 CIFAR-10-DNN에서 3.37배의 속도 향상을 달성하여 강력한 스케일링 효율성을 입증한다.
• Higgs 데이터셋에서는 20에서 80개 코어로 확장할 때 2.6배의 속도 향상을 기록한다.
• MNIST에서는 16개 코어에서 상대적 속도 향상이 3.0배에 이르며, 이는 효과적인 로드 분배와 통신 오버헤드 제어를 의미한다.
• 모델 정확도를 유지하며, 1시간 이내에 CIFAR-10-DNN에서 약 55%의 정확도를 달성하여 분산화에도 불구하고 모델 무결성이 유지됨을 확인한다.
• Tensorflow 런타임에 대한 변경 사항이 없어, 기존 Tensorflow 워크플로우에 쉽게 재사용 및 배포 가능하다.
• 다양한 데이터셋에 대한 평가를 통해 이 방법의 일반성과 효율성이 입증되었으며, 지도 학습 작업 전반에서 일관된 성능 향상이 관찰되었다.