[논문 리뷰] Oops I Took A Gradient: Scalable Sampling for Discrete Distributions

Will Grathwohl, Kevin Swersky외 3명|arXiv (Cornell University)|2021. 02. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 8

한 줄 요약

이 논문은 비정규화된 로그 밀도 함수의 미분을 사용해 메트로폴리스-해스팅스 업데이트에서 제안 분포를 안내하는, 이산 분포를 위한 확장 가능한 MCMC 샘플링 방법인 Gibbs-With-Gradients를 소개한다. 이 방법은 이산 변수의 연속적 리필링에서 유도된 기울기 정보를 활용함으로써, 이소핑, 푸츠, 그리고 이산 데이터에 대한 딥 에너지 기반 모델과 같은 고차원 모델에서 표준 깁스 샘플링보다 수개의 주기 빠른 혼합을 달성한다. 이는 변분 오토인코더와 기준 에너지 기반 모델을 모두 능가한다.

ABSTRACT

We propose a general and scalable approximate sampling strategy for probabilistic models with discrete variables. Our approach uses gradients of the likelihood function with respect to its discrete inputs to propose updates in a Metropolis-Hastings sampler. We show empirically that this approach outperforms generic samplers in a number of difficult settings including Ising models, Potts models, restricted Boltzmann machines, and factorial hidden Markov models. We also demonstrate the use of our improved sampler for training deep energy-based models on high dimensional discrete data. This approach outperforms variational auto-encoders and existing energy-based models. Finally, we give bounds showing that our approach is near-optimal in the class of samplers which propose local updates.

연구 동기 및 목표

• 고차원 이산 모델에서 표준 MCMC 샘플러(예: 깁스 샘플링)의 비효율성, 특히 대부분의 단일 사이트 업데이트가 변화를 일으키지 않는 상황을 해결하기 위해.
• 이산 분포의 연속적 리필링에서 유도된 기울기 정보를 활용하는 일반적이고 확장 가능한 샘플링 전략을 개발하기 위해.
• 기존 MCMC가 비현실적인 고차원 이산 데이터(예: 텍스트, 이미지)에 대해 딥 에너지 기반 모델(EBM)의 효과적인 훈련을 가능하게 하기 위해.
• 기울기 정보를 활용한 제안 분포가 블록 독립성의 하드 코딩된 구조를 활용하는 샘플러조차도 능가할 수 있는지 확인하기 위해.
• 계산적으로 효율적이고 광범위하게 적용 가능한, 국소 정보에 기반한 이산 분포를 위한 거의 최적의 샘플링 프레임워크를 제공하기 위해.

제안 방법

• 비정규화된 로그 밀도 함수의 연속적 입력에 대한 기울기를 사용하여, 이산 이동을 위한 가능도 비율을 추정하는 메트로폴리스-해스팅스 샘플러를 제안한다.
• 기본 연속 함수의 테일러 급수 근사를 사용하여, 이웃하는 이산 상태 간의 제안 확률 비율을 추정한다.
• 이러한 추정된 가능도 비율을 활용해, 변화 가능성이 높은 변수들 쪽으로 업데이트를 편향시키는 제안 분포를 구성한다. 이는 수용률을 향상시킨다.
• 기울기 기반 제안 분포를 깁스 샘플러 프레임워크에 통합하며, 업데이트할 변수의 선택은 기울기 크기를 기반으로 하여 더 활성화된 차원을 우선시한다.
• 확률이 기울기 크기에 비례하는 스토케스틱이고 적응적인 색인 제안 분포를 사용하여, 낭비되는 계산을 줄인다.
• 지속적 대비 분산(Persistent Contrastive Divergence, PCD) 내부에서 이 방법을 활용해 이산 데이터에 대한 딥 에너지 기반 모델을 훈련시키며, 비자기적 생성과 영향력 있는 조건부 설정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이산 분포의 연속적 리필링에서 유도된 기울기 정보가 고차원 이산 모델에서 MCMC 샘플링 효율성을 향상시킬 수 있는가?
• RQ2 복잡한 이산 구조를 가진 모델에서 기울기 기반 제안 분포가 표준 깁스 샘플링과 기타 일반 샘플러를 능가하는가?
• RQ3 이 방법이 고차원 이산 데이터(예: 텍스트, 이미지)에 대해 딥 에너지 기반 모델의 효과적인 훈련을 가능하게 하는가?
• RQ4 이러한 샘플러의 성능이 이산 데이터에서 변분 오토인코더와 기존 에너지 기반 모델과 비교해 어떻게 되는가?
• RQ5 이 방법이 이산 분포에 대한 국소 업데이트 MCMC 샘플러 중 거의 최적인가?

주요 결과

• Gibbs-With-Gradients 샘플러는 10,000어휘어휘량 언어 모델에서 수용률이 70% 이상을 기록하여, 표준 깁스 샘플링보다 최소 3,500배 이상 효율적이다.
• MNIST 데이터셋에서 이소핑 및 푸츠 모델에서 이 방법은 일반 샘플러보다 뚜렷이 뛰어난 성능을 보이며, 더 빠른 혼합과 더 나은 수렴을 보였다.
• 이미지 및 텍스트 데이터에서 딥 에너지 기반 모델을 훈련할 때, 이 방법은 비자기적 생성을 성공적으로 가능하게 하고, 변분 오토인코더와 기준 에너지 기반 모델을 모두 능가했다.
• 단축된 펜 트리브랜크 데이터셋에서 이 방법은 테스트 세트 로그 가능도를 -77.16으로 기록하여, 균일 기준(-184.21)과 카테고리 기준(-100.05)을 능가했으며, 자동귀결 LSTM(-74.0)의 성능에 가까이 다가섰다.
• 어떤 경우에서는 하드 코딩된 블록 독립성의 구조를 활용하는 샘플러보다도 이 방법이 뛰어나다는 것이 입증되었으며, 이는 기울기 정보가 누락된 구조적 지식을 상쇄할 수 있음을 시사한다.
• 이론적 경계는 이 방법이 국소 업데이트를 제안하는 샘플러 클래스 내에서 거의 최적임을 보여주며, 그 효율성을 검증한다.