[논문 리뷰] Multimodal Transitions for Generative Stochastic Networks

Sherjil Ozair, Li Yao외 1명|arXiv (Cornell University)|2013. 12. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 전이 연산자의 출력 분포로 조건부 신경 자동회귀 밀도 추정기(NADE)를 사용하여 생성 확률 네트워크(GSN)에 다중모달 전이 분포를 도입한다. 이 방법은 단일모달 GSN에서 흔히 발생하는 임의의 모드를 피함으로써 뿌리내림과 MNIST 숫자와 같은 복잡한 다중모달 데이터 분포를 더 잘 포착할 수 있게 하며, 실험 결과로 더 나은 샘플 다양성과 로그우도 추정치를 입증한다.

ABSTRACT

Generative Stochastic Networks (GSNs) have been recently introduced as an alternative to traditional probabilistic modeling: instead of parametrizing the data distribution directly, one parametrizes a transition operator for a Markov chain whose stationary distribution is an estimator of the data generating distribution. The result of training is therefore a machine that generates samples through this Markov chain. However, the previously introduced GSN consistency theorems suggest that in order to capture a wide class of distributions, the transition operator in general should be multimodal, something that has not been done before this paper. We introduce for the first time multimodal transition distributions for GSNs, in particular using models in the NADE family (Neural Autoregressive Density Estimator) as output distributions of the transition operator. A NADE model is related to an RBM (and can thus model multimodal distributions) but its likelihood (and likelihood gradient) can be computed easily. The parameters of the NADE are obtained as a learned function of the previous state of the learned Markov chain. Experiments clearly illustrate the advantage of such multimodal transition distributions over unimodal GSNs.

연구 동기 및 목표

• 복잡한 다중모달 데이터 분포를 모델링하기 어려운 단일모달 전이 분포의 한계를 해결한다.
• 전이 연산자가 다수의 모드를 모델링할 수 있도록 함으로써 GSN에서의 모드 붕괴와 가짜 모드 생성 문제를 해결한다.
• 현재 상태에 따라 변화하는 학습 가능한 파rameter를 가진 조건부 NADE 모델을 사용하여 다중모달 전이를 구현하는 타당하고 효율적인 방법을 제안한다.
• 다양한 합성 및 실제 데이터에서 샘플 품질과 다양성이 향상됨을 입증하며, 특히 MNIST에서 비숫자 유형의 샘플을 피하는 데 기여한다.
• 다중모달 전이와 워크백 훈련 절차 간의 상호작용을 조사하여, 가짜 모드를 추가로 억제하는 데 기여한다.

제안 방법

• 전이 연산자의 출력 분포로 조건부 NADE를 사용하여 다음 상태에 대한 다중모달 조건부 분포를 표현할 수 있도록 한다.
• Markov 체인의 현재 상태에 따라 NADE의 파rameter를 학습함으로써 맥락 기반의 복잡한 전이 역학을 가능하게 한다.
• NADE의 계산 가능하고 효율적인 로그우도 및 기울기 계산 기능을 활용하여, 훈련 중에 비용이 많이 드는 MCMC 샘플링이 필요 없이 GSN을 효율적으로 훈련시킨다.
• 기존 연구와 유사하게 디노이징 autoencoder 기준을 사용하여 GSN을 훈련하지만, 핵심 혁신은 전이 연산자에 대해 인라인 분포 대신 NADE를 사용한다는 점이다.
• 추론 및 평가에는 표준 Markov 체인 샘플링을 적용하여 매 단계마다 샘플을 수집하여 혼합성과 로그우도 성능을 평가한다.
• 합성 및 실제 데이터에서 일관된 평가 프로토콜을 사용하여 제안된 GSN-NADE 모델을 표준 인라인 GSN(워크백 훈련 유무 포함)과 비교한다.

실험 결과

연구 질문

• RQ1 GSN에서 다중모달 전이 분포를 사용할 경우, 단일모달 전이에 비해 복잡한 다중모달 데이터 분포를 더 잘 모델링할 수 있는가?
• RQ2 조건부 NADE를 전이 연산자로 사용할 경우, GSN의 샘플 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 제안된 다중모달 GSN은 MNIST와 같은 실제 데이터에서 로그우도 및 모드 커버리지 측면에서 표준 인라인 GSN을 초월하는가?
• RQ4 워크백 훈련 절차로 억제되는 가짜 모드를 더 효과적으로 억제하는 GSN-NADE의 성능은 어떻게 되는가?
• RQ5 NADE 기반 전이의 계산 비용은 어떻게 되는가? 특히, 인라인 분포보다 NADE에서 샘플링이 더 비용이 많이 드는 점을 감안할 때 어떤가?

주요 결과

• GSN-NADE 모델은 MNIST에서 비숫자 유형의 가짜 모드를 피하면서도, 인라인 GSN보다 훨씬 더 다양하고 시각적으로 현실적인 샘플을 생성한다.
• 2차원 나선 데이터셋에서 GSN-NADE는 진정한 다중모달 분포를 성공적으로 포착하였고, 반면 인라인 GSN은 다양체를 정확히 모델링하지 못했다.
• GSN-NADE의 CSL 추정치는 15만 개의 연속 샘플을 사용해 -114를 기록했으며, GSN-1(-121)과 GSN-1-w(-106)를 모두 초월하여 더 나은 로그우도 추정을 보였다.
• 샘플을 매 100단계마다 수집한 경우에도 GSN-NADE의 CSL 추정치는 여전히 -114로 유지되었으며, 이는 우수한 혼합성과 강한 자기상관이 없음을 시사한다.
• 다중모달성의 이점에도 불구하고, 워크백 훈련을 거친 인라인 GSN보다 GSN-NADE의 로그우도는 떨어지지 않았다. 이는 워크백 훈련이 가짜 모드 억제에 더 효과적이기 때문이다.
• 결과적으로 NADE 기반 다중모달성과 워크백 훈련을 조합하면 추가적인 성능 향상이 가능할 것으로 보이지만, NADE 샘플링의 높은 계산 비용으로 인해 여전히 도전 과제가 남아 있다.