[논문 리뷰] Score-based Metropolis-Hastings for Fractional Langevin Algorithms

Ahmed Aloui, Junyi Liao외 3명|arXiv (Cornell University)|2026. 01. 31.

Markov Chains and Monte Carlo Methods인용 수 0

한 줄 요약

MAFLA는 수용 함수와 무밀도 제안 점수 대리 변수를 학습하기 위해 Score Balance Matching을 사용하여 목표 분포와 제안 분포의 계산 불가능한 밀도에서의 수용 및 제안 점수 보정을 위한 몬테카를로 조정 점수 기반 방법을 도입한다.

ABSTRACT

Sampling from heavy-tailed and multimodal distributions is challenging when neither the target density nor the proposal density can be evaluated, as in $α$-stable Lévy-driven fractional Langevin algorithms. While the target distribution can be estimated from data via score-based or energy-based models, the $α$-stable proposal density and its score are generally unavailable, rendering classical density-based Metropolis--Hastings (MH) corrections impractical. Consequently, existing fractional Langevin methods operate in an unadjusted regime and can exhibit substantial finite-time errors and poor empirical control of tail behavior. We introduce the Metropolis-Adjusted Fractional Langevin Algorithm (MAFLA), an MH-inspired, fully score-based correction mechanism. MAFLA employs designed proxies for fractional proposal score gradients under isotropic symmetric $α$-stable noise and learns an acceptance function via Score Balance Matching. We empirically illustrate the strong performance of MAFLA on a series of tasks including combinatorial optimization problems where the method significantly improves finite time sampling accuracy over unadjusted fractional Langevin dynamics.

연구 동기 및 목표

• 밀도가 계산 불가능한 상태에서 무거운 꼬리와 다중모드 타깃에서 샘플링을 촉진한다.
• 점수 정보를 사용한 밀도 자유 몬테카를로 보정을 분수 Langevin 동역학에 적용한다.
• 그라디언트 수준의 상세 균형을 강제하는 Score Balance Matching을 통해 수용 함수를 학습한다.
• 밀도 평가 없이 그래디언트 형태의 상세 균형을 강제하는 Score Balance Matching으로 수용 함수를 학습하고 개선된 유한 시간 샘플링 및 최적화 성능을 보여준다.

제안 방법

• 제안을 밀도 없이 계산 가능한 제안 점수 대리 변수를 도출하기 위해 등방성 대칭 alpha-안정 위치 패밀리로 모델링한다.
• 스케일 인자 c_alpha와 안정적 노이즈 항 (tau^{1/alpha})xi를 사용하여 목표 점수를 통해 분수 항을 근사한다.
• 밀도 평가를 피하는 gradient 기반 제안 및 근사 제안 점수(Eq. 11)를 도출한다.
• Eqs. 12-16에 따라 밀도 평가 없이 그래디언트 형태의 상세 균형을 강제하는 Score Balance Matching으로 수용 네트워크 a_phi를 학습한다.
• 비정합적 수용 비율을 피하고 탐색을 촉진하기 위해 엔트로피 정규화를 사용한다(Eq. 18).
• Score 기반 드리프트, Levy 노이즈 및 SBM-학습 수용을 결합한 병렬 다중 시작 알고리즘으로 MAFLA를 구현한다(Algorithm 1).

Figure 1 : Illustration of symmetric $\alpha$ -stable distributions for different tail indices $\alpha$ . Smaller $\alpha$ yields heavier tails and higher peak near the origin.

실험 결과

연구 질문

• RQ1 밀도 평가가 불가능한 분수 Langevin 샘퍼에 대해 메트로폴리스형 보정이 구현될 수 있는가?
• RQ2 밀도 자유, 점수 기반 보정이 무거운 꼬리 타깃에 대한 유한 시간 샘플링 정확도를 향상시키는가?
• RQ3 Score Balance Matching을 통해 수용 함수를 학습하는 것이 분수 Levy 설정에서 상세 균형을 강제하는가?
• RQ4 연속 완화를 통한 조합 최적화 문제에서 MAFLA가 비조정 FULA 및 고전적인 MCMC 방법에 비해 어떻게 성능을 보이는가?

주요 결과

• MAFLA는 무거운 꼬리 타깃에서 FULA에 비해 유한 시간 샘플링 정확도를 개선한다(워터슈타인 거리와 꼬리 오차 감소).
• MAFLA는 FULA에 비해 2-성분 alpha-스테이블 혼합에서 혼합 가중치 및 꼬리 분위수의 잘못 추정을 감소시킨다.
• MAFLA의 성능은 제안 안정성 지수 alpha_prop의 오오차 가정 및 스텝 크기 변화에 강건하며, 여러 레짐에서 FULA보다 우수하다.
• MAFLA는 보고된 실험에서 BA 및 ER 그래프에서 MaxCut 및 Vertex Cover 결과가 ULA, FULA, MALA보다 좋다.
• 차원이 증가해도 MAFLA는 FULA에 비해 우수한 성능을 유지하며 꼬리 오차 및 분포 정확성에서 눈에 띄는 향상을 보인다.

(a) Target data. Mixture weights $(0.2,0.8)$ .