[논문 리뷰] Incremental Stochastic Subgradient Algorithms for Convex Optimization

S. Sundhar Ram, Angelia Nedich외 1명|ArXiv.org|2008. 06. 06.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 15

한 줄 요약

이 논문은 시간 비균일 마르코프 스위칭을 겪는 에이전트와 함께 시간 변화하는 네트워크 구조를 갖는 분산 네트워크에서의 분산 볼록 최적화를 위한 점진적 확률적 서브기울기 알고리즘을 제안한다. 두 가지 방법—순환형 및 마르코프 랜덤화된 점진적 서브기울기—를 분석하여 감소하는 스텝 사이즈 조건 하에서 거의 확실한 수렴성을 증명하고, 일정한 스텝 사이즈 조건 하에서 거의 확실한 오차 한계를 유도한다. 이는 기존 연구를 이동 가능한 네트워크와 시간에 따라 변화하는 연결 구조, 노이즈가 있는 서브기울기 환경으로 확장한다.

ABSTRACT

In this paper we study the effect of stochastic errors on two constrained incremental sub-gradient algorithms. We view the incremental sub-gradient algorithms as decentralized network optimization algorithms as applied to minimize a sum of functions, when each component function is known only to a particular agent of a distributed network. We first study the standard cyclic incremental sub-gradient algorithm in which the agents form a ring structure and pass the iterate in a cycle. We consider the method with stochastic errors in the sub-gradient evaluations and provide sufficient conditions on the moments of the stochastic errors that guarantee almost sure convergence when a diminishing step-size is used. We also obtain almost sure bounds on the algorithm's performance when a constant step-size is used. We then consider am{the} Markov randomized incremental subgradient method, which is a non-cyclic version of the incremental algorithm where the sequence of computing agents is modeled as a time non-homogeneous Markov chain. Such a model is appropriate for mobile networks, as the network topology changes across time in these networks. We establish the convergence results and error bounds for the Markov randomized method in the presence of stochastic errors for diminishing and constant step-sizes, respectively.

연구 동기 및 목표

• 각 에이전트가 목적 함수의 일부만 알고 있는 분산 네트워크에서 확률적 오차가 존재할 경우 점진적 서브기울기 방법의 영향을 분석하는 것.
• 기존의 수렴 결과를 순환형이 아닌, 시간에 따라 비균일한 마르코프 랜덤화된 점진적 서브기울기 방법으로 확장하여 이동 가능한 네트워크와 동적 연결 구조에 적합하게 만드는 것.
• 감소하는 스텝 사이즈 조건 하에서 거의 확실한 수렴성과 일정한 스텝 사이즈 조건 하에서 거의 확실한 오차 한계를, 확률적 서브기울기 오차 조건 하에서 확립하는 것.
• 네트워크의 전체 연결 구조를 정확히 알 필요 없이도 성능 보장을 제공하는 것. 오직 연결성 가정에 의존하는 것.
• 기존 연구를 보완하기 위해 확률적 오차와 시간에 따라 변화하는 에이전트 선택 동역학을 분산 최적화 프레임워크에 통합하는 것.

제안 방법

• 네트워크를 분산 시스템으로 모델링하며, 에이전트는 고정된 순환 구조(순환형) 또는 시간에 따라 비균일한 마르코프 체인에 따라 선택된다(마르코프 랜덤화).
• 점진적 서브기울기 갱신을 사용하며, 한 번에 한 에이전트만 갱신하며, 로컬 서브기울기와 확률적 오차 모델에 기반한다.
• 감소하는 스텝 사이즈 규칙을 적용하여, 확률적 서브기울기 오차 존재 조건 하에서도 최적 해로 거의 확실하게 수렴하도록 보장한다.
• 일정한 스텝 사이즈 전략을 사용하여, 확률적 오차의 모멘트 조건을 활용해 서브최적성 갭의 거의 확실한 오차 한계를 도출한다.
• 레미마 1과 7을 통해 기본 갱신 식을 유도하여 확률적 분석을 가능하게 하며, 수렴성과 오차 한계 유도에 표준 기법을 활용한다.
• 네트워크의 전이 행렬을 정확히 알 필요 없이 성능 한계를 계산할 수 있도록 허용하는 새로운 프레임워크를 도입한다. 오직 연결성과 모멘트 조건에 의존한다.

실험 결과

연구 질문

• RQ1 감소하는 스텝 사이즈 조건 하에서, 확률적 서브기울기 오차에 대해 순환형 점진적 서브기울기 알고리즘이 거의 확실하게 수렴하기 위한 조건은 무엇인가?
• RQ2 일정한 스텝 사이즈 조건 하에서, 확률적 서브기울기 오차 존재 조건 하에서 순환형 점진적 서브기울기 방법의 거의 확실한 오차 한계는 무엇인가?
• RQ3 에이전트 선택 순서가 시간에 따라 비균일한 마르코프 체인이면, 마르코프 랜덤화된 점진적 서브기울기 방법의 수렴 행동은 어떻게 변화하는가?
• RQ4 전체 네트워크 연결 구조를 정확히 알지 못하더라도, 일정한 스텝 사이즈 조건 하에서 마르코프 랜덤화된 방법에 대해 오차 한계를 도출할 수 있는가?
• RQ5 오차 없는 서브기울기와 시간에 균일한 마르코프 체인을 가정하는 기존 결과와 비교해 볼 때, 제안된 오차 한계는 구조적 및 실용적으로 어떻게 다른가?

주요 결과

• 감소하는 스텝 사이즈 조건 하에서, 확률적 서브기울기 오차 존재 조건 하에서 순환형 점진적 서브기울기 알고리즘이 오차의 모멘트 조건을 만족할 경우 거의 확실하게 최적 해로 수렴한다.
• 일정한 스텝 사이즈 조건 하에서 순환형 방법의 경우, 기대 서브최적성 갭은 오차 모멘트, 탇도 집합의 직경, 스텝 사이즈를 포함하는 항으로 유계가 되며, 목적 함수 값의 하한에 대한 거의 확실한 한계가 존재한다.
• 감소하는 스텝 사이즈 조건 하에서, 시간에 따라 변화하고 비균일한 마르코프 에이전트 선택 조건 하에서도 마르코프 랜덤화된 점진적 서브기울기 방법이 거의 확실하게 최적 해로 수렴한다.
• 일정한 스텝 사이즈 조건 하에서, 마르코프 랜덤화된 방법은 스텝 사이즈, 오차 모멘트 한계, 네트워크 직경에 의존하는 거의 확실한 오차 한계를 달성하며, α와 β 매개수를 포함하는 닫힌 형태의 표현식을 갖는다.
• 결론 10의 오차 한계는 스텝 사이즈 α가 0에 수렴할수록 0으로 수렴함을 확인하여 감소하는 스텝 사이즈 수렴성과의 일致성을 입증한다.
• 제안된 오차 한계는 기존 연구와 달리 네트워크의 전체 전이 행렬을 정확히 알 필요 없이 계산 가능하므로, 이동성과 동적 네트워크 환경에서 더 실용적이다.