[論文レビュー] Adjusted Scores for Discrete Langevin Algorithms

Armand Gissler, Saeed Saremi+1 more|arXiv (Cornell University)|Feb 17, 2026

Markov Chains and Monte Carlo Methods被引用数 0

ひとこと要約

要約: 論文は2値超立方体上の離散 Langevin サンプルを連続時間 Glauber ダイナミクスの離散化と再解釈し、あいまいいつでも解釈可能なスコア関数（Gibbs スコアと Glauber スコア）を導入し、収束性と Metropolis 調整版（DMALA, DMAPS）を解析して理論的保証と実験を示す。

ABSTRACT

Sampling from discrete distributions is a ubiquitous task in machine learning, recently revisited by the emergence of discrete diffusion models. While Langevin algorithms constitute the state of the art for continuous spaces, discrete versions lack similar theoretical guarantees when the step-size becomes small. In this paper, we address this limitation by interpreting discrete sampling algorithms as discretizations of continuous-time dynamics on the hypercube. In particular, we describe several score functions for discrete algorithms which result in approximations of Glauber dynamics for the correct target distribution. We also compute upper bounds for the contraction of these algorithms, with or without Metropolis adjustment.

研究の動機と目的

• 有限空間上の離散分布からのサンプリングを動機づけ、離散 Langevin 法と超立方体上の連続時間ダイナミクスを結びつける。
• ステップサイズが小さくなる極限挙動が明確になるよう、解釈可能なスコア関数（Gibbs スコアと Glauber スコア）を導入する。
• いくつかのアルゴリズム（DULA、DUPS、DMALA、DMAPS）を導出・解析し、収束特性と不変分布を確立する。
• 不調整と Metropolis 調整サンプルに対する理論的な収束結果と誤差境界を提供し、多.modal targets での実験により検証する。

提案手法

• 離散サンプリングを超立方体上の Glauber ダイナミクスの離散化として、生成子行列を用いてフレーム化する。
• Glauber スコア delta log p(x) および Gibbs スコア s(x) を定義し、ステップサイズ → 0 のときの明確な極限挙動を得る。
• 4つのアルゴリズムを記述する：DULA（離散 ULA）、DMALA（その Metropolis 調整版）、DUPS（離散未調整近接サンプラー）、DMAPS（Metropolis 調整近接サンプラー）。
• DULA および DUPS が連続時間過程の離散化として現れ、スコアの滑らかさ条件（β1, β2）およびステップサイズの条件下で Wasserstein 距離で収束境界を導出する。
• Metropolis 調整を取り入れ、受理確率に基づく収束境界と不変性の保証を導出し、 Gibbs サンプリングおよび近接 Gibbs ダイナミクスと関連づける。

実験結果

リサーチクエスチョン

• RQ1 {-1,1}^d 上の離散 Langevin 型サンプラーを underlying の連続時間 Glauber ダイナミクスの離散化として解釈できるか。
• RQ2 Gibbs スコアと Glauber スコアは小さなステップサイズで明確な極限挙動を生み出すか、またこれらのスコアは収束速度にどう影響するか。
• RQ3 不調整版（DULA, DUPS）と Metropolis 調整版（DMALA, DMAPS）の収束速度と不変分布の誤差はどの程度か、Gibbs サンプリングとどのように比較されるか。
• RQ4 多.modal target（Ising, Curie–Weiss, ビットの混合）に対して、これらの離散法は混合性と p(·) への近似の点でどう機能するか。

主な発見

• DULA と DUPS は Glauber ダイナミクスの適切なスコアでの離散化として解釈でき、ステップサイズが小さい場合に Wasserstein 距離で収束をもたらす。
• Gibbs スコアを用いると小さなステップに対する収束境界が改善され、適切な条件下でステップサイズが 0 に近づくと不変分布の誤差が消失する。
• DUPS による Glauber スコアは小ステップ極限で Gibbs-近接サンプリングのように動作させ、より大きなステップでは潜在的に収束が速くなる。
• Metropolis 調整版（DMALA, DMAPS）は不変ターゲットの保証を提供し、受理特性と提案の正則性に依存する収束境界を与える。
• ビットの混合、Ising、Curie–Weiss モデルの実験は DMAPS と DUPS が特定の領域で Gibbs サンプリングより優れることを示し、DULA は小さなステップで強力な近似を提供する。