[논문 리뷰] Sampling as optimization in the space of measures: The Langevin dynamics as a composite optimization problem

Andre Wibisono|arXiv (Cornell University)|2018. 02. 22.

Statistical Mechanics and Entropy인용 수 40

한 줄 요약

본 논문은 샘플링을 측정 공간에서의 최적화로 다루고, 비조정 Langevin 알고리즘(ULA)의 편향을 분석하며, 편향을 줄이기 위한 대칭화된 Langevin 알고리즘(SLA)을 제안하고, 가우시안 타깃에 대한 일관성 결과와 특정 조건에서의 지수 수렴을 보인다.

ABSTRACT

We study sampling as optimization in the space of measures. We focus on gradient flow-based optimization with the Langevin dynamics as a case study. We investigate the source of the bias of the unadjusted Langevin algorithm (ULA) in discrete time, and consider how to remove or reduce the bias. We point out the difficulty is that the heat flow is exactly solvable, but neither its forward nor backward method is implementable in general, except for Gaussian data. We propose the symmetrized Langevin algorithm (SLA), which should have a smaller bias than ULA, at the price of implementing a proximal gradient step in space. We show SLA is in fact consistent for Gaussian target measure, whereas ULA is not. We also illustrate various algorithms explicitly for Gaussian target measure, including gradient descent, proximal gradient, and Forward-Backward, and show they are all consistent.

연구 동기 및 목표

• gradient flow와 상대 엔트로피(KL 발산)로 측정 공간에서의 샘플링을 최적화로 동기 부여한다.
• 이산 시간에서의 비조정 Langevin 알고리즘(ULA)의 편향 원인을 조사하고 편향 감소 또는 제거를 모색한다.
• 일관성 및 더 빠른 수렴을 달성하기 위해 대체 이산화(FB, SFFl, SLA)를 개발 및 분석한다.
• 가우시안 타깃에 대한 명시적 분석과 예를 제공하여 일관성과 수렴 특성을 설명한다.

제안 방법

• 측정 공간에서 상대 엔트로피 H_nu(rho)를 Wasserstein 거리와 함께 최소화하는 문제로 샘플링을 프레이밍한다( JKO 스킴과의 연결).
• 상대 엔트로피가 음의 엔트로피와 기대 음로그 밀도 성분으로 분해된다는 것을 설명한다.
• ULA가 Forward-Flow(FFl) 이산화에 해당하며 일반 타깃에 대해 편향이 있음을 보인다.
• 데이터 항과 엔트로피 항에 대해 각각 순방향(데이터 항)과 역방향(열 흐름)으로 구성된 합성 구조를 다루기 위해 Forward-Backward(FB) 알고리즘을 제안한다.
• 더 높은 차수의 편향 감소와 잠재적 일관성을 달성하기 위해 대칭 Forward-Flow(SFFl) 및 대칭 Langevin 알고리즘(SLA)을 도입한다.
• 가우시안 타깃(Ornstein-Uhlenbeck 과정) 및 가우시안 혼합물에 대해 명시적 구현과 강대 로그-켄시티에 따른 수렴 결과를 시연한다.

실험 결과

연구 질문

• RQ1 측정 공간에서 Langevin 역동을 이산화할 때 ULA의 편향의 원인은 무엇인가?
• RQ2 상대 엔트로피를 엔트로피 항과 데이터 항의 합으로 보는 합성 최적화 문제의 이산화가 편향 없이 또는 덜 편향되게 이루어질 수 있는가(FB, SLA 등)?
• RQ3 이 이산화들이 어떤 조건에서 타깃 분포로 수렴하며 수렴 속도는 어떤가?
• RQ4 제안된 방법들의 일관성과 수렴 특성을 가우시안 타깃 예를 통해 어떻게 설명할 수 있는가?

주요 결과

• ULA는 일반적으로 편향이 있으며, 고정 스텝 크기에서도 가우시안 타깃이라도 편향이 지속된다.
• 합성 최적화 문제로 볼 수 있으며, FB 또는 대칭 변형이 적절한 조건 하에서 일관성을 달성할 수 있다.
• SLA는 ULA의 프래그먼트(상대 편향 감소를 위한 부호)와 그 역합성으로 구성되며 OU와 같은 가우시안 케이스에서 더 작은 편향과 일관성을 달성할 수 있다.
• 명시적 분석에서 SLA가 OU 과정과 특정 가우시안 혼합물에 대해 일관적이며 강 대수로그-켄시티에서 지수 수렴을 보인다.
• 추가적인 근사 근사를 희생하여 편향을 감소시키는 SLA의 실용적 경로를 제시하며, 역방향 단계 구현이 가능한 경우 유리하다.
• 대칭적이고 고차 이산화(SFFl/SLA)가 표준 FFl/ULA보다 더 높은 차수의 편향(차수 2)을 야기한다는 것을 보여준다.