[논문 리뷰] A Discussion on Parallelization Schemes for Stochastic Vector Quantization Algorithms

Matthieu Durut, Benoît Patra외 1명|arXiv (Cornell University)|2012. 05. 10.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 5

한 줄 요약

이 논문은 통신 지연이 높은 분산 아키텍처에서 성능 한계를 극복하기 위해 스트로스틱 벡터 양자화(VQ)를 비동기적이고 공유 버전 기반으로 병렬화하는 방법을 제안한다. 간단한 병렬화 방식의 성능 한계를 해결하기 위해, 각 노드에서의 국소 기울기 기여도를 평균 내는 대신 전역 공유 프로토타입 버전을 업데이트함으로써, 마이크로소프트 아크에서 최대 32배의 속도 향상을 달성한다.

ABSTRACT

This paper studies parallelization schemes for stochastic Vector Quantization algorithms in order to obtain time speed-ups using distributed resources. We show that the most intuitive parallelization scheme does not lead to better performances than the sequential algorithm. Another distributed scheme is therefore introduced which obtains the expected speed-ups. Then, it is improved to fit implementation on distributed architectures where communications are slow and inter-machines synchronization too costly. The schemes are tested with simulated distributed architectures and, for the last one, with Microsoft Windows Azure platform obtaining speed-ups up to 32 Virtual Machines.

연구 동기 및 목표

• 배치 k-means와는 달리 쉽게 병렬화되지 않는 스트로스틱 벡터 양자화(VQ)에서 효과적인 병렬화의 부족을 해결한다.
• 각 노드가 독립적으로 VQ를 실행하고 주기적으로 프로토타입을 평균 내는 난이도 높은 병렬화 방식이 수렴 속도 향상에 실패하는 이유를 규명한다.
• 각 노드의 일관된 학습률을 유지하기 위해 국소 기울기 기여도를 사용해 업데이트하는 공유 버전을 도입함으로써 새로운 병렬 VQ 기법을 설계한다.
• 기하분포로 모델링된 확률적 지연을 고려해, 클라우드 플랫폼과 같은 느리고 신뢰성이 떨어지는 분산 환경에 적합하도록 기법을 적응시킨다.
• 모의 실험과 마이크로소프트 아크에서의 실제 구현을 통해 제안된 기법의 확장성과 강건성을 입증한다.

제안 방법

• 각 노드가 국소 프로토타입 버전을 유지하고, 자신의 데이터 서브셋을 사용해 국소 기울기 업데이트를 계산하는 새로운 병렬 VQ 기법을 제안한다.
• 모든 τ 단계 후에 국소 프로토타입을 평균 내는 대신, 공유된 전역 프로토타입 버전에 각 노드의 국소 기울기 업데이트의 합을 적용하여 업데이트한다.
• 시간 창 τ 동안 각 노드의 누적 기울기 기여도를 나타내는 델타 항목 Δ를 사용해 업데이트 규칙을 정의한다.
• 노드들이 업데이트를 수신할 때마다 독립적으로 공유 버전을 업데이트하는 비동기 버전을 도입하며, 통신 지연은 기하분포로 모델링한다.
• 동기화 장벽 없이 모든 노드의 최신 업데이트를 지속적으로 통합하는 공유 버전 업데이트 메커니즘을 사용한다.
• 각 노드가 데이터 스트림을 처리하고 중앙 코ordinatior가 공유 버전을 유지하는 분산 아키텍처를 사용해 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 스트로스틱 VQ의 난이도 높은 병렬화 방식은 왜 여러 계산 단위를 사용해도 속도 향상을 달성하지 못하는가?
• RQ2 병렬 VQ 기법은 어떻게 각 노드 간 일관된 학습률을 유지함으로써 수렴 속도 향상을 보장할 수 있는가?
• RQ3 통신 지연이 높고 신뢰성이 떨어지는 환경, 예를 들어 클라우드 컴퓨팅 플랫폼에서 효과적인 병렬화를 가능하게 하는 설계 패턴은 무엇인가?
• RQ4 실제 분산 인프라에 배포했을 때, 제안된 기법이 벽시계 시간 감소 측면에서 얼마나 확장 가능한가?
• RQ5 비동기성과 확률적 지연을 도입함으로써 병렬 VQ 알고리즘의 수렴 행동과 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 τ 단계 후에 국소 프로토타입을 평균 내는 난이도 높은 병렬화 방식은, 처리된 각 데이터 포인트당 유효 학습률이 감소하기 때문에 속도 향상을 달성하지 못한다.
• 공유 전역 프로토타입 버전에 국소 기울기 업데이트를 직접 적용하는 제안된 기법은 상당한 속도 향상을 달성한다—마이크로소프트 아크에서 32개의 가상 머신을 사용해 최대 32배의 성능 향상을 입증했다.
• 낮은 τ 값(낮은 빈도의 감소 단계)을 사용할수록 더 큰 속도 향상이 발생한다. 이는 국소 프로토타입과 전역 프로토타입 간의 분리 정도를 줄이고 공감대 형성을 가속화하기 때문이다.
• 동기화 장벽을 제거하고 통신 지연을 기하분포로 모델링한 비동기 버전은 동기 버전과 거의 동일한 성능을 유지한다.
• 네트워크 지연과 느린 처리자 효과가 있는 현실적인 클라우드 조건에서도 알고리즘이 강건하게 유지되며, 성능 저하가 최소한이다.
• 아크에서의 구현을 통해 제안된 기법이 대규모 분산 시스템에서의 대규모 VQ에 대해 확장 가능하고 실용적임을 확인했다.