[논문 리뷰] On the global convergence of a randomly perturbed dissipative nonlinear oscillator

Wenqing Hu, Chris Junchi Li외 1명|arXiv (Cornell University)|2017. 12. 15.

Stochastic processes and financial applications인용 수 2

한 줄 요약

이 논문은 잡음 스케일 ε에 대해 평균적으로 𝒪(ln(ε⁻¹)) 시간 이내에 잠재 함수의 국소 최소화점을 향해 무작위로 흔들린 소산 비선형 진동자의 전역 수렴성을 확립한다. 시간 척도 변환을 통해 이는 확률적 중력구의 확산 근사가 스텝 사이즈의 역제곱근에 상대적으로 선형 시간 내에 안정점에서 벗어나며, 이는 이 이산형 대응체의 빠른 수렴을 시사한다.

ABSTRACT

We consider in this work small random perturbations of a nonlinear oscillator with friction-type dissipation. We rigorously prove that under non-degenerate perturbations of multiplicative noise type, the perturbed system that describes the dynamics of the dissipative oscillator converges to local minimizers of the potential function in $\mathcal{O}(\ln(\varepsilon^{-1}))$ time on average, where $\varepsilon>0$ is the scale of the random perturbation. Under a change of time scale, this indicates that for the diffusion process that approximates the stochastic heavy-ball method, it takes (up to logarithmic factor) only a linear time of the square root of inverse stepsize to evade from all saddle points and hence it implies a fast convergence of its discrete-time counterpart.

연구 동기 및 목표

• 작은 무작위 흔들림 하에서 소산 비선형 진동자의 장기적 행동을 분석하는 것.
• 편향된 시스템이 잠재 함수의 국소 최소화점으로 전역 수렴하는 조건을 확립하는 것.
• 잡음 스케일 ε에 따라 수렴 시간을 정량화하고, 이와 이를 확률적 최적화 방법의 역학과 연결하는 것.
• 연속 시간 확산 과정과 이산적 확률적 중력구 방법 간의 연결을 맺으며, 특히 안정점 탈출 시간에 초점을 맞추는 것.

제안 방법

• 승수형 잡음과 마찰형 소산을 갖는 확률적 미분 방정식으로 편향된 진동자를 모델링하는 것.
• 시간 척도 변환을 통해 동역학을 확률적 중력구 방법의 확산 근사와 연결하는 것.
• 대규모 이탈 기법과 리아프노프 함수 분석을 적용하여 국소 최소화점 주변에 도달하는 데 걸리는 기대 시간을 근사하는 것.
• 초기 조건에 관계없이 평균적으로 𝒪(ln(ε⁻¹)) 시간 내에 수렴이 일어남을 입증하는 것.
• 잡음의 비퇴화 조건을 활용하여 효과적인 탐색과 불안정 평형점에서의 탈출을 보장하는 것.

실험 결과

연구 질문

• RQ1 무작위로 흔들린 소산 비선형 진동자는 잠재 함수의 국소 최소화점으로 얼마나 빠르게 수렴하는가?
• RQ2 수렴 시간은 잡음 스케일 ε에 어떻게 의존하는가?
• RQ3 시간 척도 변환된 동역학은 연속 및 이산 설정에서 확률적 중력구 방법과 어떻게 관련되는가?
• RQ4 편향된 시스템은 안정점에서 효율적으로 탈출할 수 있는가, 만약 그렇다면 어떤 시간 척도 내에서 가능한가?

주요 결과

• 편향된 시스템은 평균적으로 𝒪(ln(ε⁻¹)) 시간 내에 국소 최소화점으로 수렴하며, 여기서 ε는 잡음 스케일이다.
• 이 수렴 시간은 초기 조건과 무관하며 비퇴화 승수형 잡음 조건 하에서도 성립한다.
• 시간 척도 변환을 통해 확산 과정이 확률적 중력구 방법의 근사에 대해 스텝 사이즈의 역제곱근에 상대적으로 선형 시간 내에 안정점에서 탈출한다.
• 이 결과는 이산 시간 확률적 중력구 방법이 안정점에서 효율적으로 회피함으로써 빠른 수렴을 달성할 수 있음을 시사한다.