[논문 리뷰] On stochastic gradient Langevin dynamics with dependent data streams: the fully non-convex case

Ngọc Huy Châu, Éric Moulines외 3명|Edinburgh Research Explorer|2019. 05. 30.

Markov Chains and Monte Carlo Methods참고 문헌 33인용 수 26

한 줄 요약

이 논문은 종속적인 데이터 스트림을 가진 완전히 비볼록 설정에서 Stochastic Gradient Langevin Dynamics (SGLD)의 점근적이지 않은 수렴 보장을 $L^1$-Wasserstein 거리로 확립한다. SGLD를 보조 확산 과정과 비교하고, 수축 추정을 활용함으로써, 이전의 i.i.d. 데이터 및 로그-볼록 목표 함수를 넘어서는 보다 날카운, 균일한 수렴 속도를 달성한다.

ABSTRACT

We consider the problem of sampling from a target distribution, which is \emph {not necessarily logconcave}, in the context of empirical risk minimization and stochastic optimization as presented in Raginsky et al. (2017). Non-asymptotic analysis results are established in the $L^1$-Wasserstein distance for the behaviour of Stochastic Gradient Langevin Dynamics (SGLD) algorithms. We allow the estimation of gradients to be performed even in the presence of \emph{dependent} data streams. Our convergence estimates are sharper and \emph{uniform} in the number of iterations, in contrast to those in previous studies.

연구 동기 및 목표

• 종속적인 데이터 스트림이 존재하는 완전히 비볼록 케이스에서 SGLD의 점근적이지 않은 수렴 속도를 제공하는 것.
• 기존의 수렴 보장을 i.i.d. 데이터와 로그-볼록 목표 분포를 초월하여 확장하는 것.
• 이전의 $L^2$-Wasserstein 경계를 향상시키기 위해 $L^1$-Wasserstein 거리 측도를 사용하여 더 날카우며 균일한 추정을 얻는 것.
• 로그-볼록성 조건을 요구하지 않고도 잠재함수 $U$에 대한 소산성 조건 하에서 수렴성을 확립하는 것.

제안 방법

• 저자들은 과다감쇠 랑주방정식 SDE에 영감을 얻은 연속시간 보조 확산 과정과 이산 SGLD 과정을 비교한다.
• 참고문헌 [18]의 확산에 대한 수축 추정을 활용하여 SGLD와 목표 분포 간의 거리를 제한한다.
• 가중치가 부여된 핀스커 유형 부등식을 통해 커플링 기반 접근법을 사용하여 $L^1$-Wasserstein 거리와 Kullback-Leibler 발산을 연결한다.
• 모멘트 제어 및 $V$-노름에서의 적분 가능성을 보장하기 위해 가측 함수 $V$를 활용한다.
• 핵심 기술 도구로는 SDE 해의 확률율 계산을 위한 구르산노프 정리와 해의 모멘트 추정이 포함된다.
• $U$에 대한 소산성 조건을 가정함으로써 종속적인 데이터 스트림으로부터의 기울기 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 종속적인 데이터 스트림이 존재하는 완전히 비볼록 케이스에서 SGLD의 점근적이지 않은 수렴 속도를 확립할 수 있는가?
• RQ2 $L^1$-Wasserstein 거리 사용이 이전의 $L^2$-Wasserstein 추정보다 더 날카운 수렴 경계를 제공하는가?
• RQ3 확산에 대한 수축 기법을 일반적인 소산성 조건 하에서 이산 SGLD 알고리즘 분석에 적응시킬 수 있는가?
• RQ4 로그-볼록성이 없을 경우 수렴 속도는 스텝 사이즈와 반복 횟수에 따라 어떻게 스케일링되는가?
• RQ5 $V$-노름과 커플링은 비로그-볼록 목표 분포에 대해 Wasserstein 거리 경계를 어떻게 제공하는가?

주요 결과

• 논문은 소산성 조건 하에서 종속적인 데이터 스트림이 존재하는 상황에서도 SGLD의 $L^1$-Wasserstein 거리에서 점근적이지 않은 수렴성을 확립한다.
• 이전의 $L^2$-Wasserstein 경계에 비해 더 날카우며 반복 횟수에 대해 균일한 수렴 속도를 확보한다.
• $L^1$-Wasserstein 거리는 목표 분포의 Kullback-Leibler 발산과 관련된 가중치가 부여된 핀스커 부등식을 통해 경계된다.
• 분석 결과, 수렴 속도는 스텝 사이즈와 $\nabla U$의 리프시츠 상수에 명시적인 의존성을 보이며, 커플링 및 구르산노프 정리를 통해 유도된다.
• 반복 횟수에 걸쳐 균일한 경계를 확보하여 일부 이전 분석에서 관찰된 열화 현상을 피한다.
• 결과적으로 SGLD의 적용 범위는 비-i.i.d. 및 비로그-볼록 설정으로 확장되며, 대규모 데이터 및 온라인 학습에서 최적화에 대한 더 강력한 이론적 보장을 제공한다.