[논문 리뷰] Hemingway: Modeling Distributed Optimization Algorithms

Xinghao Pan, Shivaram Venkataraman외 2명|arXiv (Cornell University)|2017. 02. 20.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 22

한 줄 요약

Hemingway는 분산 최적화 알고리즘의 수렴 속도와 시스템 성능를 다양한 클러스터 크기에서 예측하는 블랙박스 모델링 시스템을 제안한다. 이는 최적의 알고리즘과 설정 선택을 가능하게 하며, 시스템 수준의 타이밍 모델과 수렴 속도 모델을 결합함으로써 하이퍼파rameter 튜닝에서의 시도 오차를 줄인다. 초기 결과는 분산 머신러닝 환경에서의 볼록 최적화 워크로드에 대해 유망한 성능을 보여준다.

ABSTRACT

Distributed optimization algorithms are widely used in many industrial machine learning applications. However choosing the appropriate algorithm and cluster size is often difficult for users as the performance and convergence rate of optimization algorithms vary with the size of the cluster. In this paper we make the case for an ML-optimizer that can select the appropriate algorithm and cluster size to use for a given problem. To do this we propose building two models: one that captures the system level characteristics of how computation, communication change as we increase cluster sizes and another that captures how convergence rates change with cluster sizes. We present preliminary results from our prototype implementation called Hemingway and discuss some of the challenges involved in developing such a system.

연구 동기 및 목표

• 주어진 머신러닝 워크로드에 최적의 분산 최적화 알고리즘과 클러스터 구성 선택 문제를 해결하기 위해.
• 클러스터 크기가 증가함에 따라 수렴 속도와 시스템 수준의 성능(계산 + 통신)이 어떻게 변화하는지 모델링하기 위해.
• 학습 시간과 수렴 행동에 대한 예측 모델을 구축함으로써 시도 오차에 대한 의존도를 줄이기 위해.
• 주어진 문제와 데이터에 대해 최적의 알고리즘과 클러스터 설정을 자동으로 추천할 수 있도록 하기 위해.
• 적응형 및 비동기 최적화 설정으로의 확장과 궁극적으로 딥러닝과 같은 비볼록 문제에까지 적용 가능하도록 하기 위해.

제안 방법

• 클러스터 크기를 기반으로 반복당 시간을 예측하는 시스템 수준 모델을 구축하여 계산과 통신 간의 트레이드오프를 반영하기 위해.
• 병행성 증가에 따라 최적화 오차가 어떻게 감소하는지 추적하는 별도의 수렴 속도 모델을 개발하기 위해.
• 두 모델을 결합하여 다양한 설정에 대한 총 학습 시간(반복당 시간 × 반복 수)을 추정하기 위해.
• 실제 분산 워크로드에서 모델의 校정과 검증을 위해 CoCoA+를 활용한 프로토타입 평가를 수행하기 위해.
• 학습 데이터와 자원 비용을 최소화하기 위해 실험 설계 및 데이터 서브셋 부트스트랩 기법을 활용하기 위해.
• 알고리즘 전용 내부 정보가 필요 없이 다양한 분산 최적화 알고리즘에 적용 가능한 블랙박스 모델로 시스템을 설계하기 위해.

실험 결과

연구 질문

• RQ1 클러스터 크기가 증가함에 따라 분산 최적화 알고리즘의 수렴 속도는 어떻게 변화하는가?
• RQ2 데이터 병렬 환경에서 클러스터 크기가 증가함에 따라 반복당 시간(계산 + 통신)은 어떻게 변화하는가?
• RQ3 시스템 성능 모델과 수렴 속도 모델을 통합한 모델이 주어진 머신러닝 문제에 대해 최적의 클러스터 크기와 알고리즘을 예측할 수 있는가?
• RQ4 학습 오버헤드를 최소화하면서도 모델 정확도를 유지하는 데 효과적인 데이터 수집 전략은 무엇인가?
• RQ5 이 모델링 프레임워크는 비동기 알고리즘과 딥러닝과 같은 비볼록 최적화 문제로 확장될 수 있는가?

주요 결과

• 클러스터 크기를 늘릴수록 반복당 계산 시간은 감소하지만 통신 오버헤드는 증가하여 총 학습 시간에 트레이드오프가 발생한다.
• CoCoA와 같은 알고리즘은 반복당 시간이 감소하더라도, 클러스터 크기가 커지면서 국소 업데이트 품질이 떨어져 수렴 속도가 악화된다.
• 시스템 수준 모델과 수렴 모델의 조합을 통해 최적 설정을 정확히 예측할 수 있으며, 이는 학습 시간을 최소화한다.
• CoCoA+를 활용한 초도 결과에서는 다양한 파artition 크기와 반복 수에 걸쳐 수렴 속도를 외삽할 수 있음을 확인했다.
• 학습 중에 적응형 재구성(예: 수렴 진행에 따라 병행성 조정)을 안내할 수 있다.
• 비볼록 최적화로의 확장과 효율적인 샘플링 및 부트스트랩 기법을 통한 데이터 수집 비용 최소화 문제는 여전히 도전 과제로 남아 있다.