[논문 리뷰] On Sampling from the Gibbs Distribution with Random Maximum A-Posteriori Perturbations

Tamir Hazan, Subhransu Maji외 1명|arXiv (Cornell University)|2013. 09. 29.

Blind Source Separation Techniques참고 문헌 24인용 수 30

한 줄 요약

이 논문은 잠재 함수에 저차원의 랜덤 페르터베이션을 도입하여 기술적 분포에 대한 새로운 샘플링 방법을 제안한다. 이 방법은 최대 사후확률(정규화된 최대사후확률, MAP) 추론을 통해 효율적인 근사 또는 비편향 샘플링을 가능하게 한다. 구불구불한 에너지 장에 의한 고신호, 고결합 영역에서 전통적인 MCMC 및 기술적 샘플링 기법이 어려운 상황에서도 성능을 발휘한다. 구불구불한 분포의 최대 안정성 특성을 활용함으로써, 분할 함수에 대한 더 날카운 더 빠른 하한을 제공한다.

ABSTRACT

In this paper we describe how MAP inference can be used to sample efficiently from Gibbs distributions. Specifically, we provide means for drawing either approximate or unbiased samples from Gibbs' distributions by introducing low dimensional perturbations and solving the corresponding MAP assignments. Our approach also leads to new ways to derive lower bounds on partition functions. We demonstrate empirically that our method excels in the typical "high signal - high coupling" regime. The setting results in ragged energy landscapes that are challenging for alternative approaches to sampling and/or lower bounds.

연구 동기 및 목표

• 기존 MCMC 및 기술적 샘플링의 계산 부담을 피하는 스케일러블한 기술적 분포 샘플링 방법을 개발하기 위해.
• 효율적인 MAP 추론을 기반으로 기술적 분포에서 비편향 또는 근사 샘플을 생성하기 위해.
• 랜덤 페르터베이션을 통해 분할 함수에 대한 더 날카운 더 빠른 하한을 유도하기 위해.
• 불규칙한 에너지 장을 가진 고신호, 고결합 영역에서의 샘플링 과제를 해결하기 위해.
• 랜덤 MAP 페르터베이션과 진짜 기술적 분포 간의 관계를 정식화하여, 특히 근사된 주변 확률에 대해 설명하기 위해.

제안 방법

• 잠재 함수 θ(x)에 독립적이고 동일하게 분포된 Gumbel 분포를 가진 페르터베이션 γ(x)를 도입하여 θ(x) + γ(x)를 구성한다.
• Gumbel 분포의 최대 안정성 성질을 활용하여, x에 대해 θ(x) + γ(x)의 최대값의 기대값이 분할 함수의 로그 log Z와 정확히 일치함을 보여준다.
• 여러 개의 독립적인 페르터베이션에 대해 θ(x) + γ(x)의 argmax를 취하여 기술적 분포에서 비편향 샘플을 생성한다.
• Chebyshev 부등식을 통한 농도 보장으로, m개의 독립적인 MAP 페르터베이션 실현치의 경험 평균을 사용하여 분할 함수 Z를 근사한다.
• 레마 2와 추론 2를 도입하여 점차 더 날카운 하한을 구성하는 시퀀스를 제시함으로써 기존 하한을 개선하며, 근사가 확률적으로 유효한 하한임을 보여준다.
• 구조적 예측 작업에 이 방법을 적용하여, MAP 자체보다 더 나은 추정치를 제공하기 위해 다수의 랜덤 MAP 해의 평균을 사용하고, 분할 작업에서 경계 오차를 추정한다.

실험 결과

연구 질문

• RQ1 잠재 함수에 저차원의 랜덤 페르터베이션을 적용하여 기술적 분포에서 비편향 샘플을 생성할 수 있는가?
• RQ2 랜덤 MAP 페르터베이션의 통계적 성질을 어떻게 활용하여 분할 함수에 대한 더 날카운 더 빠른 하한을 도출할 수 있는가?
• RQ3 제안된 방법은 불규칙한 에너지 장이 존재하는 고신호, 고결합 영역에서 기존의 샘플링 기법보다 우수한 성능을 보일 수 있는가?
• RQ4 랜덤 MAP 페르터베이션의 주변 확률이 기술적 분포의 주변 확률을 근사하는 데 이론적으로 타당한 근거는 무엇인가?
• RQ5 이 방법은 실제 구조적 예측 문제에서 실용적이고 계산적으로 효율적인 샘플링 및 분할 함수 추정을 제공할 수 있는가?

주요 결과

• 각각의 θ(x) + γ(x)에 대한 argmax가 진짜 분포에서의 샘플에 해당하므로, 페르터베이션된 잠재 함수에서 MAP 문제를 푸는 것으로 기술적 분포에서 비편향 샘플을 생성할 수 있다.
• γ(x)가 평균이 0인 독립적이고 동일하게 분포된 Gumbel 분포일 경우, log Z는 x에 대해 θ(x) + γ(x)의 최대값의 기대값과 정확히 일치한다.
• m개의 독립적인 MAP 페르터베이션 실현치의 경험 평균은 log Z의 농도 추정치를 제공하며, 오차 범위는 Chebyshev 부등식으로 주어진다: Pr[|1/m ∑ max(θ(x)+γj(x)) - log Z| ≥ ε] ≤ π/(6mε²).
• 특히 고신호, 고결합 영역에서 기존의 변분 방법보다 더 날카운 더 빠른 분할 함수 하한을 달성한다.
• 분할 작업에서 20개의 랜덤 MAP 해의 평균은 경계 오차를 1.04 픽셀로 줄였으며, 이는 MAP 해(3.51 픽셀 오차)보다 유의미하게 뛰어난 성능을 보였다.
• 불규칙한 에너지 장으로 인해 기존 MCMC 및 기술적 샘플러가 계산적으로 불가능한 영역에서도 이 방법은 뛰어난 성능을 보였다.