[논문 리뷰] Distributed Stochastic Approximation Algorithm With Expanding Truncations: Algorithm and Applications

Jinlong Lei, Han-Fu Chen|arXiv (Cornell University)|2014. 10. 27.

Distributed Control Multi-Agent Systems참고 문헌 47인용 수 6

한 줄 요약

이 논문은 다중 에이전트 네트워크에서 국소 함수의 합의 근을 더 이상의 조건 없이 찾기 위해 확장 가능한 절단을 갖춘 분산 확률적 근사 알고리즘(DSAAWET)을 제안한다. 적응적으로 확장되는 절단 경계와 감소하는 스텝 사이즈를 사용함으로써, 에이전트 추정치가 전역 함수의 근 집합 내에 있는 공감 집합으로 거의 확실하게 수렴함을 보장한다. 이는 리프시츠 연속성 또는 마팅게일 차분 노이즈 가정을 요구하지 않는다.

ABSTRACT

In the paper, a novel distributed stochastic approximation algorithm (DSAA) is proposed to seek roots of the sum of local functions, each of which is associated with an agent from the multiple agents connected in a network. At any time, each agent updates its estimate for the root utilizing the observation of its local function and the information derived from the neighboring agents. The key difference of the proposed algorithm from the existing ones consists in the expanding truncations (so it is called as DSAAWET), by which the boundedness of the estimates can be guaranteed without imposing the growth rate constraints on the local functions. The convergence of the estimates generated by DSAAWET to a consensus set belonging to the root set of the sum function is shown under weaker conditions on the local functions and on the observation noise in comparison with the existing results. We illustrate our approach by two applications, one from signal processing and the other one from distributed optimization. Numerical simulation results are also included.

연구 동기 및 목표

• 기존의 분산 확률적 근사 알고리즘이 전역 리프시츠 연속성의 국소 함수 및 마팅게일 차분 노이즈(MDS)를 요구하는 강력한 가정을 필요로 하는 한계를 해결한다.
• 새로운 절단 메커니즘을 도입하여 국소 함수가 급격히 증가하거나 노이즈가 엄밀히 MDS가 아니어도 되는 분산 근 탐색 문제에서 수렴을 가능하게 한다.
• 국소 함수와 노이즈에 대한 약한 성장 및 노이즈 조건 하에서도, 에이전트 추정치가 전역 합 함수의 근 집합에 포함된 공감 집합으로 거의 확실하게 수렴함을 확립한다.
• 이전 방법이 제한적인 가정으로 실패하는 도전적인 문제들인 분산 주성분 분석 및 기울기 자유 최적화에 대한 적용 가능성을 확장한다.

제안 방법

• 교환 가능한 네트워크 토폴로지에서 이웃 에이전트로부터의 정보와 국소 노이즈 관측치를 사용하여 각 에이전트가 추정치를 갱신하는 분산 확률적 근사 알고리즘(DSAAWET)을 제안한다.
• 확장 가능한 절단 메커니즘 도입: 추정치가 현재 경계를 초과하면 초기 값으로 재설정되고 경계가 증가하여 비한계적 성장을 방지한다.
• 감소하는 스텝 사이즈와 함께 확장 가능한 절단을 사용하여 안정성과 수렴성을 확보하며, 더 작은 스텝과 더 큰 경계로 반복적인 재설정을 모방한다.
• 국소 함수와 노이즈에 대한 약한 가정 하에서 라플라스 유형의 추론과 안정성 분석을 통해 절단된 과정의 수렴성을 활용한다.
• 상태 벡터를 공감 및 이질성 성분으로 분해하여 네트워크 내 수렴 행동을 분석한다.
• 재귀 부등식과 수축 추론을 사용하여 이질성 성분이 시간이 지남에 따라 감소함을 보여주며, 이는 근 집합으로의 공감에 이르게 한다.

실험 결과

연구 질문

• RQ1 국소 함수의 성장과 비-MDS 노이즈에 대해 제약 없는 연속성 또는 성장 제약 조건을 요구하지 않고도 분산 확률적 근사가 얼마나 강건하게 유지될 수 있는가?
• RQ2 확장 가능한 절단 메커니즘이 교환 가능한 토폴로지가 있는 분산 다중 에이전트 네트워크에서 추정치의 유한성과 수렴성을 보장하는가?
• RQ3 이전 연구보다 더 약한 조건 하에서도, 제안된 알고리즘이 전역 합 함수의 근 집합 내에 있는 공감 집합으로 거의 확실하게 수렴하는가?
• RQ4 DSAAWET는 분산 주성분 분석 및 기울기 자유 최적화와 같은 실세계 문제에 얼마나 널리 적용될 수 있는가?
• RQ5 노이즈가 MDS가 아니며 국소 함수가 전역 리프시츠 연속성이 아닐 경우, 수렴에 대한 이론적 보장은 무엇인가?

주요 결과

• DSAAWET가 생성한 추정치는 거의 확실하게 합 함수의 근 집합의 부분집합인 공감 집합으로 수렴한다.
• 확장 가능한 절단 메커니즘은 국소 함수의 전역 리프시츠 연속성 또는 성장률 제약 조건 없이도 추정치의 유한성을 보장한다.
• 관측 노이즈가 마팅게일 차분 수열이 아니어도 되므로, 이전 연구에서 핵심으로 간주되던 가정을 완화한다.
• 비-MDS 노이즈와 비-리프시츠 국소 함수를 포함한 [13]보다 더 약한 조건 하에서도 수렴이 확립된다.
• 이 방법은 분산 주성분 분석 및 분산 기울기 자유 최적화에 성공적으로 적용되었으며, 양자 모두에 대해 거의 확실한 수렴이 증명되었다.
• 수치 시뮬레이션은 이론적 결과를 확인하고 알고리즘의 강건성과 실용적 환경에서의 효과성을 입증한다.