[논문 리뷰] Distributed Asynchronous Stochastic Dual Coordinate Ascent without Duality.

Zhouyuan Huo, Heng Huang|arXiv (Cornell University)|2016. 05. 29.

Stochastic Gradient Optimization Techniques인용 수 1

한 줄 요약

이 논문은 비볼록 목표 함수에 대해 이중 형식이 필요 없이 작동하는 이중 자유 비동기적 확률적 이중좌표상승 알고리즘을 제안한다. 이는 비볼록 목표 함수의 한계를 극복하고 비동기 통신를 통해 느린 머신(스트래글러) 문제를 완화한다. 비볼록 개별 함수에 대해서도 선형 수렴을 달성하며, 볼록 및 비볼록 손실 함수 모두에서 검증된다.

ABSTRACT

The primal-dual distributed optimization methods have broad large-scale machine learning applications. Previous primal-dual distributed methods are not applicable when the dual formulation is not available, e.g. the sum-of-non-convex objectives. Moreover, these algorithms and theoretical analysis are based on the fundamental assumption that the computing speeds of multiple machines in a cluster are similar. However, the straggler problem is an unavoidable practical issue in the distributed system because of the existence of slow machines. Therefore, the total computational time of the distributed optimization methods is highly dependent on the slowest machine. In this paper, we address these two issues by proposing distributed asynchronous dual free stochastic dual coordinate ascent algorithm for distributed optimization. Our method does not need the dual formulation of the target problem in the optimization. We tackle the straggler problem through asynchronous communication and the negative effect of slow machines is significantly alleviated. We also analyze the convergence rate of our method and prove the linear convergence rate even if the individual functions in objective are non-convex. Experiments on both convex and non-convex loss functions are used to validate our statements.

연구 동기 및 목표

• 합의 비볼록 목표 함수에 대해 이중 형식이 필요로 하는 기존의 원본-이중 분산 최적화 방법의 한계를 해결하기 위해.
• 분산 시스템에서 가장 느린 머신에 의해 성능이 저하되는 스트래글러 문제를 극복하기 위해.
• 이중성에 의존하지 않고도 작동하는 분산 최적화 방법을 개발하여 이질적 컴퓨팅 환경에서의 효율성을 유지하기 위해.
• 비동기 통신 하에서 비볼록 목표 함수에 대해 이론적 수렴 보장을 수립하기 위해.

제안 방법

• 최적화 문제의 이중 형식이 필요 없이 작동하는 분산 비동기 확률적 이중좌표상승 알고리즘을 제안한다.
• 동기화를 분리하기 위해 비동기 통신을 사용하여 느린 머신에 대한 의존도를 낮춘다.
• 직접 원본 목표 함수를 최적화하기 위해 이중 변수에 대한 좌표상승을 사용하는 이중 자유 업데이트 메커니즘을 구현한다.
• 개별 함수가 비볼록일 경우에도 선형 수렴을 보장하는 수렴 분석 프레임워크를 도입한다.
• 좌표의 무작위 샘플링과 비동기 업데이트를 활용하여 분산 클러스터에서의 확장성과 강건성을 유지한다.
• 모든 손실 함수 유형(볼록 및 비볼록)과 호환되도록 알고리즘을 설계하여 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 최적화 문제의 이중 형식이 필요 없이도 분산 최적화 알고리즘이 선형 수렴을 달성할 수 있는가?
• RQ2 분산 시스템에서 스트래글러 문제를 스트래슬러 좌표상승 방법에서 효과적으로 완화할 수 있는가?
• RQ3 개별 함수가 비볼록일 경우에도 선형 수렴이 달성 가능한가?
• RQ4 이중 자유 확률적 이중좌표상승에 비동기 통신을 효과적으로 통합할 수 있는가, 수렴 보장이 손상되지 않는가?
• RQ5 비볼록 설정에서 이러한 방법의 수렴을 뒷받침하는 이론적 기초는 무엇인가?

주요 결과

• 제안된 알고리즘은 비볼록 개별 함수에 대해 선형 수렴을 달성한다. 이는 이전 방법이 일반적으로 볼록성을 요구하는 데 비해 상당한 이론적 진전이다.
• 목표 함수의 이중 형식이 필요 없기 때문에, 이중이 존재하지 않거나 계산이 곤란한 문제에 적용 가능하다.
• 비동기 통신은 스트래글러 문제를 효과적으로 완화하여 가장 느린 머신에 대한 의존도를 낮추고 전체 시스템의 효율성을 향상시킨다.
• 볼록 및 비볼록 손실 함수에 대한 실험 결과는 알고리즘이 실제 분산 환경에서 효과적이고 강건함을 확인한다.
• 이론적 분석은 이중 형식이 없고 비볼록 목표 함수일 경우에도 비동기 업데이트 하에서 선형 수렴을 확인한다.