[논문 리뷰] Wasserstein Training of Boltzmann Machines

Grégoire Montavon, Klaus‐Robert Müller외 1명|arXiv (Cornell University)|2015. 07. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 13

한 줄 요약

이 논문은 관측치 간에 의미 있는 거리 척도를 활용하여 데이터 분포와 모델 분포 간의 워샤프스키 거리(Wasserstein distance)를 최소화함으로써 볼츠만 기계에 대한 워샤프스키 훈련을 제안한다. 이 방법은 기하학적 구조를 더 잘 포착함으로써 특히 분산을 감소시키는 데서 표준 RBM보다 데이터 보완 및 노이즈 제거 작업에서 뛰어난 성능을 보이는 군집 유사한 구조를 가진 생성 모델을 도출한다.

ABSTRACT

The Boltzmann machine provides a useful framework to learn highly complex, multimodal and multiscale data distributions that occur in the real world. The default method to learn its parameters consists of minimizing the Kullback-Leibler (KL) divergence from training samples to the Boltzmann model. We propose in this work a novel approach for Boltzmann training which assumes that a meaningful metric between observations is given. This metric can be represented by the Wasserstein distance between distributions, for which we derive a gradient with respect to the model parameters. Minimization of this new Wasserstein objective leads to generative models that are better when considering the metric and that have a cluster-like structure. We demonstrate the practical potential of these models for data completion and denoising, for which the metric between observations plays a crucial role.

연구 동기 및 목표

• 데이터 포인트 간에 의미 있는 거리 척도를 통합한 볼츠만 기계의 새로운 훈련 목표를 개발함으로써 기존의 KL 산란도를 넘어서는 것.
• 워샤프스키 기반 훈련이 더 더러운 군집 유사한 표현을 가진 생성 모델을 도출함을 보여주는 것.
• 거리 기반 복원 오차가 핵심적인 데이터 보완 및 노이즈 제거 작업에서 워샤프스키로 훈련된 RBM의 성능을 평가하는 것.
• 볼츠만 기계의 모델 파라미터에 대한 워샤프스키 거리의 기울기를 계산하는 실용적이고 확장 가능한 방법을 제공하는 것.

제안 방법

• 이 방법은 경험적 데이터 분포와 모델 분포 간의 워샤프스키 거리를 최소화하며, 워샤프스키 거리의 매끄럽고 미분 가능한 근사치를 사용한다.
• 워샤프스키 거리의 이중 표현을 통해 모델 파라미터에 대한 워샤프스키 목표의 기울기를 유도함으로써 역전파를 가능하게 한다.
• 빠른 워샤프스키 거리 및 그 도함수의 근사치를 사용하여 기울기를 계산함으로써 수천 개에서 수만 개의 데이터 포인트까지 확장 가능하게 한다.
• 모델은 자유 에너지 함수 $ F_{\theta}(\boldsymbol{x}) $ 를 사용하여 RBM 분포 $ p_{\theta}(\boldsymbol{x}) = \frac{1}{Z_{\theta}} e^{-F_{\theta}(\boldsymbol{x})} $ 를 매개변수화하며, 이는 확률적 경사 하강법을 통해 최적화된다.
• 이 접근법은 워샤프스키 거리가 데이터 포인트 간의 기하학적 근접도를 고려하기 때문에, 복원 결과가 항상 가장 가까운 군집 쪽으로 체계적으로 유도된다는 점을 활용한다.

실험 결과

연구 질문

• RQ1 데이터 분포와 모델 분포 간의 워샤프스키 거리 최소화가 기존의 KL 기반 훈련보다 볼츠만 기계에서 더 나은 생성 모델을 도출할 수 있는가?
• RQ2 워샤프스키 목표는 특히 군집 형성 측면에서 학습된 모델의 구조적 특성에 어떤 영향을 미치는가?
• RQ3 거리 기반 복원 오차가 핵심적인 데이터 보완 및 노이즈 제거 작업에서 워샤프스키 훈련이 성능 향상에 기여하는가?
• RQ4 이러한 작업에서 표준 RBM과 비교해 워샤프스키로 훈련된 RBM의 편향-분산 트레이드오프는 어떠한가?

주요 결과

• 워샤프스키 RBM는 군집 유사한 구조를 학습하며, 분포 외부의 입력에 대해 복원 결과가 항상 가장 가까운 군집 쪽으로 체계적으로 유도되어 분산이 감소한다.
• MNIST 및 PLANTS 데이터셋에서 워샤프스키 RBM는 표준 RBM 및 커널 밀도 추정보다 더 낮은 기대 허밍 오차를 기록한다.
• 기대 허밍 오차의 편향 성분은 워샤프스키 RBM에서 더 크며, 이는 원형 예시 쪽으로 체계적인 복원을 의미하지만, 분산은 크게 감소되어 있다.
• 빠른 워샤프스키 거리 및 그 기울기의 근사치를 사용하여 이론적으로 수천 개에서 수만 개의 관측치까지 성공적으로 확장 가능하다.
• 워샤프스키 목표는 KL 산란도와 근본적으로 다른 최적화 지형을 이끌어내며, 정확한 데이터 포인트 매칭에 덜 민감하고 기하학적 구조에 더 잘 맞춰진다.