[논문 리뷰] Cyclic Stochastic Optimization: Generalizations, Convergence, and Applications in Multi-Agent Systems

Karla Hernández Cuevas|arXiv (Cornell University)|2017. 07. 20.

Simulation Techniques and Applications참고 문헌 1인용 수 3

한 줄 요약

이 논문은 매개변수 부분벡터를 순환적 또는 무작위 패턴으로 순차적으로 갱신하는 확률적 최적화의 변종인 일반화된 순환 스 tochastic approximation(GCSA)를 소개한다. GCSA의 거의 확실 수렴성과 점근 정규성을 확립하고, 비순환 SA와의 점근 상대 효율성에 대한 해석적 표현을 유도하며, 이론적 및 수치적 검증을 통해 다중 에이전트 확률적 최적화 문제에 적용한다.

ABSTRACT

Stochastic approximation (SA) is a powerful class of iterative algorithms for nonlinear root-finding that can be used for minimizing a loss function, $L(\boldsymbolθ)$, with respect to a parameter vector $\boldsymbolθ$, when only noisy observations of $L(\boldsymbolθ)$ or its gradient are available (through the natural connection between root-finding and minimization); SA algorithms can be thought of as stochastic line search methods where the entire parameter vector is updated at each iteration. The cyclic approach to SA is a variant of SA procedures where $\boldsymbolθ$ is divided into multiple subvectors that are updated one at a time in a cyclic manner. This dissertation focuses on studying the asymptotic properties of cyclic SA and of the generalized cyclic SA (GCSA) algorithm, a variant of cyclic SA where the subvector to update may be selected according to a random variable or according to a predetermined pattern, and where the noisy update direction can be based on the updates of any SA algorithm (e.g., stochastic gradient, Kiefer--Wolfowitz, or simultaneous perturbation SA). The convergence of GCSA, asymptotic normality of GCSA (related to rate of convergence), and efficiency of GCSA relative to its non-cyclic counterpart are investigated both analytically and numerically. Specifically, conditions are obtained for the convergence with probability one of the GCSA iterates and for the asymptotic normality of the normalized iterates of a special case of GCSA. Further, an analytic expression is given for the asymptotic relative efficiency (when efficiency is defined in terms of mean squared error) between a special case of GCSA and its non-cyclic counterpart. Finally, an application of the cyclic SA scheme to a multi-agent stochastic optimization problem is investigated. This dissertation also contains two appendices.

연구 동기 및 목표

• 소음이 있는 관측치 하에서 매개변수 최적화에 대한 순환 스 tochastic approximation(SA) 알고리즘의 점근적 행동을 분석하는 것.
• 순환 SA 프레임워크를 일반화하여 무작위 또는 패턴 기반 부분벡터 선택과 유연한 갱신 방향을 허용하는 것.
• 제안된 일반화된 순환 SA(GCSA) 알고리즘의 거의 확실 수렴성과 점근 정규성을 확립하는 것.
• GCSA와 비순환 대응체와의 점근 상대 효율성에 대한 해석적 표현을 유도하는 것.
• 순환 SA 프레임워크가 다중 에이전트 확률적 최적화 설정에 효과적으로 적용될 수 있는지 보여주는 것.

제안 방법

• GCSA 알고리즘은 매개변수 벡터 θ를 부분벡터로 분할하고, 순환적 또는 무작위 순서로 순차적으로 갱신한다.
• 각 반복 단계에서 무작위 변수 또는 고정된 패턴에 따라 부분벡터가 선택되고, 소음이 있는 기울기 추정치가 갱신에 사용된다.
• 이 방법은 Kiefer–Wolfowitz 및 동시 섭동 SA를 포함한 다양한 확률적 기울기 추정 기법을 지원한다.
• 수렴 분석은 마틴갈 차분 수열과 르아플라스 함수 기법을 사용하여 수행된다.
• 소음과 단계 크기 수열에 대한 규칙성 조건 하에서, GCSA의 특수한 경우에 대해 점근 정규성이 도출된다.
• 효율성은 평균 제곱오차를 통해 측정되며, GCSA와 비순환 SA 간의 점근 상대 효율성에 대한 해석적 표현이 유도된다.

실험 결과

연구 질문

• RQ1 GCSA 알고리즘이 어떤 조건에서 최적의 매개변수 벡터로 거의 확실하게 수렴하는가?
• RQ2 알고리즘의 특수한 경우에서 정규화된 GCSA 반복값의 점근 분포는 무엇인가?
• RQ3 GCSA의 점근 상대 효율성은 비순환 SA와 비교해 평균 제곱오차 측면에서 어떻게 되는가?
• RQ4 순환 SA 프레임워크는 다중 에이전트 확률적 최적화 문제에 효과적으로 적용될 수 있는가?
• RQ5 부분벡터 갱신을 순환 패턴으로 사용할 경우와 전체 벡터 갱신을 사용할 경우의 이론적 및 수치적 영향은 무엇인가?

주요 결과

• 단계 크기 및 소음 수열에 대한 약한 규칙성 조건 하에서, GCSA 반복값은 거의 확실하게 최적의 매개변수 벡터로 수렴한다.
• GCSA의 특수한 경우에서, 정규화된 반복값은 점근적으로 정규분포를 이룬다. 이는 매개변수 추정치에 대한 추론을 가능하게 한다.
• GCSA와 비순환 SA 간의 점근 상대 효율성에 대한 해석적 표현이 도출되었으며, 이는 순환 갱신이 가져오는 성능 향상을 정량화한다.
• 수치 결과는 이론적 수렴성과 효율성 향상을 확인하며, 특히 고차원 설정에서 뚜렷한 성능 향상을 보인다.
• 순환 SA 프레임워크는 다중 에이전트 확률적 최적화 문제에 성공적으로 적용되었으며, 확장성과 강건성을 입증한다.
• 유도된 효율성 표현은 GCSA가 부분벡터 갱신이 분산을 감소시킬 경우 비순환 SA보다 평균 제곱오차 측면에서 우월할 수 있음을 보여준다.