[논문 리뷰] Distributed Stochastic Approximation Algorithm With Expanding Truncations

Jinlong Lei, Han-Fu Chen|arXiv (Cornell University)|2014. 10. 27.

Neural Networks Stability and Synchronization인용 수 2

한 줄 요약

이 논문은 다중 에이전트 네트워크를 위한 분산 확률적 근사 알고리즘인 확장형 截단을 갖춘 DSAAWET를 제안한다. 이 알고리즘은 국소 함수의 합의 근을 찾는 데 사용되며, 확장형 截단을 통해 국소 함수의 성장률 제약 조건 없이 유한한 추정치를 보장한다. 이로 인해 이전 연구보다 더 약한 조건 하에서도 전역 함수의 근 집합 내의 일致 집합으로 거의 확실한 수렴을 달성한다.

ABSTRACT

In this paper, a novel distributed stochastic approximation algorithm (DSAA) is proposed to seek roots of the sum of local functions, each of which is associated with an agent from multiple agents connected over a network. At each iteration, each agent updates its estimate for the root utilizing the noisy observations of its local function and the information derived from the neighboring agents. The key difference of the proposed algorithm from the existing ones consists in the expanding truncations (so it is called the DSAAWET), by which the boundedness of the estimates can be guaranteed without imposing the growth-rate constraints on the local functions. The estimates generated by the DSAAWET are shown to converge almost surely to a consensus set, which belongs to a connected subset of the root set of the sum function. In comparison with the existing results, we impose weaker conditions on the local functions and on the observation noise. We then apply the proposed algorithm to two applications, one from signal processing and the other one from distributed optimization, and establish the almost sure convergence. Numerical simulation results are also included.

연구 동기 및 목표

• 각 에이전트가 국소 함수에만 접근 가능한 다중 에이전트 네트워크에서의 분산 근 찾기 문제를 다루는 것.
• 기존의 분산 확률적 근사 알고리즘에서 일반적으로 요구되는 국소 함수의 성장률 제약 조건을 제거하는 것.
• 함수 성장에 대한 사전 지식 없이도 추정치의 유한성을 보장하기 위해 새로운 확장형 截단 기반 메커니즘을 도입하는 것.
• 국소 함수와 노이즈에 대한 더 약한 가정 하에서 전역 합 함수의 근 집합 내의 일치 집합으로 거의 확실한 수렴을 달성하는 것.

제안 방법

• 각 에이전트가 소음이 섞인 국소 관측치와 이웃 에이전트의 정보를 이용해 추정치를 갱신하는 분산 확률적 근사 알고리즘(DSAAWET)을 제안한다.
• 반복 단계에 따라 동적으로 조정되는 확장형 截단을 도입하여, 함수 성장에 대한 사전 지식 없이도 추정치의 유한성을 보장한다.
• 시간에 따라 변화하는 네트워크 구조를 통해 국소 추정치와 이웃의 정보를 융합하는 일치 기반 갱신 규칙을 사용한다.
• 수렴성을 보장하면서도 확장형 截단 메커니즘을 통해 안정성을 유지하기 위해 감소하는 스텝 사이즈 수열을 활용한다.
• 마틴갈 차분 수열과 거의 확실한 수렴 기법을 사용한 확률적 근사 이론을 활용해 수렴성을 분석한다.
• 전역 합 함수의 근 집합의 연결된 부분집합 내에 존재하는 일치 집합으로의 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 국소 함수의 성장률 제약 조건 없이도 분산 확률적 근사 알고리즘이 합 함수의 근 집합으로 거의 확실한 수렴을 달성할 수 있는가?
• RQ2 함수 행동에 대한 사전 지식 없이도 분산 확률적 근사에서 추정치의 유한성을 어떻게 보장할 수 있는가?
• RQ3 확장형 截단이 다중 에이전트 시스템에서 수렴 성질과 노이즈에 대한 강건성에 미치는 영향은 무엇인가?
• RQ4 제안된 알고리즘이 신호 처리 및 분산 최적화와 같은 실세계 문제에 효과적으로 적용될 수 있는가?

주요 결과

• DSAAWET 알고리즘은 전역 합 함수의 근 집합의 부분집합인 일치 집합으로 에이전트의 추정치가 거의 확실하게 수렴함을 보장한다.
• 확장형 截단 기반 메커니즘이 국소 함수의 성장률 제약 조건 없이도 추정치의 유한성을 보장한다.
• 기존의 분산 확률적 근사 방법에 비해 국소 함수와 관측 노이즈에 대해 더 약한 가정을 요구한다.
• 알고리즘은 신호 처리 및 분산 최적화 문제에 성공적으로 적용되었으며, 이론적 수렴성이 각 경우에 대해 입증되었다.
• 수치 시뮬레이션을 통해 이론적 결과가 검증되었으며, 다양한 네트워크 및 노이즈 조건 하에서도 안정적이고 수렴하는 행동을 보였다.