[논문 리뷰] Cyclades: Conflict-free Asynchronous Machine Learning

Xinghao Pan, Maximilian Lam외 6명|arXiv (Cornell University)|2016. 05. 01.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

Cyclades는 공유 메모리 시스템을 위한 충돌 없고 비동기적인 기계학습 프레임워크로, 잠금 없이 레이스 컨dition을 제거하여 스토하스틱 최적화 알고리즘의 광범위한 클래스에서 증명 가능한 속도 향상을 가능하게 한다. 그 디자인은 뛰어난 캐시 국지성과 성능을 보장하며, Hogwild!에 비해 최대 40% 빠른 훈련 속도와 희소 데이터 세트에서 분산된 비동기 방법에 비해 최대 5배의 속도 향상을 달성한다.

ABSTRACT

We present Cyclades, a general framework for parallelizing stochastic optimization algorithms in a shared memory setting. Cyclades is asynchronous during model updates, and requires no memory locking mechanisms, similar to Hogwild!-type algorithms. Unlike Hogwild!, Cyclades introduces no conflicts during parallel execution, and offers a black-box analysis for provable speedups across a large family of algorithms. Due to its inherent cache locality and conflict-free nature, our multi-core implementation of Cyclades consistently outperforms Hogwild!-type algorithms on sufficiently sparse datasets, leading to up to 40% speedup gains compared to Hogwild!, and up to 5 imes gains over asynchronous implementations of variance reduction algorithms.

연구 동기 및 목표

• 공유 메모리 시스템에서 모델 업데이트 중 레이스 컨dition을 제거함으로써 Hogwild! 스타일 알고리즘의 한계를 해결한다.
• 메모리 잠금 메커니즘에 의존하지 않고도 병렬 스토하스틱 최적화에서 증명 가능한 속도 향상을 가능하게 한다.
• 희소 기계학습 워크로드를 위한 다중 코어 환경에서 캐시 국지성과 시스템 수준의 성능을 향상시킨다.
• 광범위한 최적화 알고리즘 가족에 적용 가능한 블랙박스 분석 프레임워크를 제공한다.
• 특히 희소 데이터에서 기존의 비동기 방법에 비해 뚜렷한 성능 향상을 달성한다.

제안 방법

• 공유 메모리에서 모델 파라미터 업데이트 중 레이스 컨dition을 방지하는 충돌 없는 업데이트 메커니즘을 설계한다.
• 잠금이 없는 아키텍처를 활용해 동기화 오버헤드 없이 고도의 동시성을 가능하게 한다.
• 자연스러운 데이터 희소성과 캐시 우수한 메모리 접근 패턴을 활용해 국지성을 향상시키고 메모리 병목 현상을 줄인다.
• 광범위한 최적화 알고리즘 가족에 걸쳐 속도 향상 보장을 공식적으로 증명할 수 있는 블랙박스 분석 프레임워크를 도입한다.
• 정확성과 성능을 유지하면서 병렬성을 활용하는 다중 코어 버전의 Cyclades를 구현한다.
• 메모리 경쟁을 최소화하고 CPU 캐시에서의 데이터 재사용을 극대화함으로써 희소 데이터 세트에 최적화한다.

실험 결과

연구 질문

• RQ1 잠금 없고 충돌 없는 비동기 스토하스틱 최적화 프레임워크가 다양한 알고리즘에 걸쳐 증명 가능한 속도 향상을 달성할 수 있는가?
• RQ2 Cyclades는 희소 기계학습 워크로드에서 성능과 확장성 측면에서 Hogwild!에 비해 어떻게 뛰어나게 되는가?
• RQ3 개선된 캐시 국지성이 공유 메모리 병렬 훈련에서 성능 향상에 얼마나 기여하는가?
• RQ4 실제로 Cyclades는 분산된 비동기 방법에 비해 분산된 최적화 알고리즘에 대해 뚜렷한 속도 향상을 달성할 수 있는가?
• RQ5 Cyclades가 광범위한 최적화 알고리즘 가족 전반에 걸쳐 성능 보장을 갖는 이론적 기반은 무엇인가?

주요 결과

• Cyclades는 충돌 없고 캐시 최적화된 설계 덕분에 충분히 희소한 데이터 세트에서 Hogwild!에 비해 최대 40%의 속도 향상을 달성한다.
• 레이스 컨dition을 제거하고 메모리 경쟁을 줄임으로써 Cyclades는 다중 코어 환경에서 일관되게 Hogwild!를 능가한다.
• 희소 데이터에서 분산된 최적화 알고리즘의 비동기 구현에 비해 Cyclades는 최대 5배의 속도 향상을 제공한다.
• 블랙박스 분석 프레임워크는 광범위한 스토하스틱 최적화 알고리즘 가족 전반에 걸쳐 공식적인 속도 향상 보장을 제공한다.
• 성능 향상의 주요 원인은 뛰어난 캐시 국지성과 동기화 오버헤드의 부재이다.
• 높은 병렬성 조건에서도 잠금을 사용하지 않음에도 불구하고 Cyclades는 정확성과 높은 처리량을 유지한다.