[論文レビュー] Sampling as optimization in the space of measures: The Langevin dynamics as a composite optimization problem

Andre Wibisono|arXiv (Cornell University)|Feb 22, 2018

Statistical Mechanics and Entropy被引用数 40

ひとこと要約

この論文はサンプリングを測度空間における最適化として扱い、調整なし Langevin アルゴリズム（ULA）のバイアスを分析し、バイアス低減を目的とした対称 Langevin アルゴリズム（SLA）を提案。ガウス分布を対象とする一貫性の結果と、特定の条件下での指数収束を示す。

ABSTRACT

We study sampling as optimization in the space of measures. We focus on gradient flow-based optimization with the Langevin dynamics as a case study. We investigate the source of the bias of the unadjusted Langevin algorithm (ULA) in discrete time, and consider how to remove or reduce the bias. We point out the difficulty is that the heat flow is exactly solvable, but neither its forward nor backward method is implementable in general, except for Gaussian data. We propose the symmetrized Langevin algorithm (SLA), which should have a smaller bias than ULA, at the price of implementing a proximal gradient step in space. We show SLA is in fact consistent for Gaussian target measure, whereas ULA is not. We also illustrate various algorithms explicitly for Gaussian target measure, including gradient descent, proximal gradient, and Forward-Backward, and show they are all consistent.

研究の動機と目的

• gradient flow と相対エントロピー（KL ダイバージェンス）を介して測度空間でのサンプリングを最適化として動機づける。
• 離散時間における未調整 Langevin アルゴリズム (ULA) のバイアスの原因を調べ、バイアス削減または除去を目指す。 0
• 一貫性とより速い収束を達成するための代替離散化法（FB、SFFl、SLA）を開発・分析する。
• ガウス対象を例示する具体的分析と例を提供し、一貫性と収束性を明示する。

提案手法

• 測度空間の相対エントロピー H_nu(rho) の Wasserstein 距離による最適化最小化をフレーム化する（JKO スキームとの関連）。
• 相対エントロピーは負エントロピーと期待値としての負の対数密度成分に分解できることを説明する。
• ULA が Forward-Flow (FFl) の離散化に対応し、一般のターゲットに対してバイアスを持つことを示す。
• データ項を前向きに、エントロピー項を熱方流で扱うことで合成構造を処理するための Forward-Backward (FB) アルゴリズムを提案する。
• 高次のバイアス低減と潜在的な一貫性を達成するための対称 Forward-Flow (SFFl) および Symmetrized Langevin Algorithm (SLA) を導入する。
• ガウス対象（Ornstein-Uhlenbeck 過程）およびガウス混合物に対する明示的実装を示し、強い対数凹性の下での収束結果を示す。

実験結果

リサーチクエスチョン

• RQ1 測度空間での Langevin ダイナミクスを離散化する際、未調整 Langevin アルゴリズム (ULA) によるバイアスの原因は何か？
• RQ2 相対エントロピーをエントロピーとデータ項の和としてみた複合最適化問題の離散化を unbiased または less biased にすることは可能か（例：FB、SLA）？
• RQ3 これらの離散化がターゲット測度へ収束する条件と収束速度はどうなるか？
• RQ4 提案手法の一貫性と収束性を具体的な Gaussian 対象例でどのように示せるか？

主な発見

• ULA は一般にバイアスを持ち、Gaussian 対象でも固定ステップサイズでそのバイアスが残る。
• 問題は複合最適化として見ることができ、FB または対称変種は適切な条件下で一貫性を達成できる。
• SLA は ULA とその adjoint の組み合わせ（proximal ステップを要する）で、バイアスを小さくし Gaussian ケース（OU）で一貫性を示し得る。
• OU 過程および特定の Gaussian 混合物に対して SLA の一貫性が示され、強い対数凹性の下で指数的収束を伴う。
• SLA は追加の prox 計算をバイアス削減と引き換えに受け入れる実用的な道を提供し、 backward ステップが実装可能な場合に有用。
• 対称的で高次の離散化（SFFl/SLA）は標準の FFl/ULA より高階のバイアス（階数 2）をもたらすことを示す。