[논문 리뷰] Boltzmann Encoded Adversarial Machines

Charles K. Fisher, Smith, Aaron M.외 1명|arXiv (Cornell University)|2018. 04. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 8

한 줄 요약

이 논문은 제한된 볼츠만 기계(RBMs)의 훈련을 향상시키기 위한 새로운 훈련 방법인 볼츠만 인코딩 적대적 기계(BEAMs)를 제안한다. BEAMs는 은닉 유닛 활성도를 기반으로 한 적대적 손실와 최대우도 훈련을 조합한다. 실제 데이터와 모델이 생성한 샘플을 구분하도록 훈련된 적대자(adversary)를 활용함으로써, BEAMs는 MNIST 및 CelebA와 같은 벤치마크 데이터셋에서 기존 RBMs와 GANs를 능가하는 생성 작업 성능을 달성한다.

ABSTRACT

Restricted Boltzmann Machines (RBMs) are a class of generative neural network that are typically trained to maximize a log-likelihood objective function. We argue that likelihood-based training strategies may fail because the objective does not sufficiently penalize models that place a high probability in regions where the training data distribution has low probability. To overcome this problem, we introduce Boltzmann Encoded Adversarial Machines (BEAMs). A BEAM is an RBM trained against an adversary that uses the hidden layer activations of the RBM to discriminate between the training data and the probability distribution generated by the model. We present experiments demonstrating that BEAMs outperform RBMs and GANs on multiple benchmarks.

연구 동기 및 목표

• 우도 기반 훈련의 한계를 해결하기 위해, 특히 낮은 데이터 밀도 영역에서 높은 확률 영역을 제대로 벌점하지 못하는 문제를 해결한다.
• 은닉층 활성도를 디스커미네이터의 입력으로 사용함으로써 적대적 훈련을 통합함으로써 RBM 훈련의 안정성과 성능을 향상시킨다.
• 로그우도와 적대적 목적이 결합된 결과가 단독으로 사용할 경우보다 더 나은 생성 모델링 성능을 낼 수 있음을 보여준다.
• 더 복잡하거나 동일한 복잡도의 GANs에 비해 BEAMs가 이미지 생성 벤치마크에서 승리할 수 있음을 보여준다.
• 안정적이고 효과적인 훈련 프레임워크를 도입함으로써 현대 비지도 학습에서 RBMs의 실현 가능성을 재확립한다.

제안 방법

• 음의 로그우도 목표함수와 적대적 손실 항목의 볼록 조합을 사용하여 RBM을 훈련한다.
• 실제 데이터와 생성된 샘플을 구분하는 디스커미네이터 네트워크에 RBM의 은닉 유닛 활성도를 입력으로 사용한다.
• 원시적인 가시 유닛이 아닌 은닉 표현을 기반으로 디스커미네이터를 훈련함으로써 더 단순하고 안정적인 훈련을 가능하게 한다.
• 초기 로그우도 사전훈련을 위해 지속적 대비 분산(persistent contrastive divergence)을 사용하고, 이후 적대적 손실과 함께 공동 최적화를 수행한다.
• 특징 추출을 위해 별도의 오토에인코더를 사용하여 저차원 기준 벤치마크와 고차원 이미지 생성 작업 모두에 이 방법을 적용한다.
• 이중 단계 훈련 스케줄을 적용한다: 먼저 로그우도만을 사용해 사전훈련하고, 이후 병합 목표함수로 미세조정하여 모드 커버리지와 재구성 정밀도의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 은닉층 활성도를 기반으로 한 적대적 훈련이 표준 우도 기반 훈련에 비해 RBM의 생성 품질을 향상시키는가?
• RQ2 로그우도와 적대적 목적이 RBM에 결합될 경우, 단독으로 사용할 경우보다 더 나은 모드 커버리지와 낮은 분포 분산을 달성하는가?
• RQ3 더 단순하고 종단 간(end-to-end)이 아닌 훈련 전략을 사용함에도 불구하고 BEAMs가 이미지 생성 작업에서 GANs를 능가할 수 있는가?
• RQ4 은닉 유닛 기반의 구분 기반 훈련이 RBM 기반 모델의 훈련 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 아키텍처 수정 없이 BEAMs가 다중모달 및 시계열 데이터와 같은 다양한 데이터 모odal에 얼마나 일반화되는가?

주요 결과

• BEAMs는 MNIST 및 CelebA를 포함한 여러 벤치마크에서 표준 RBMs와 GANs를 초월하여 샘플 품질과 분포 충실도 측면에서 뛰어난 성능을 보였다.
• BEAMs에서 로그우도와 적대적 목적이 조합될 경우, 정방향 및 역방향 KL 발산이 낮아져 다중모달 분포를 더 잘 모델링할 수 있었다.
• BEAMs가 생성한 이미지는 약간 더 흐릿할 수는 있지만, 강력한 전반적 일관성과 일관된 얼굴 특징을 보였다.
• GANs(DCGAN/DCWGAN)는 더 선명한 국소적 특징을 생성하지만 전반적인 구조적 연관성이 떨어져, 국소적 세부사항과 구조적 일관성 사이의 상충관계를 보였다.
• 특히 훈련 복잡도를 고려할 때, 최신 기술 수준의 GANs에 비해 훨씬 낮은 계산 비용으로 경쟁 가능한 성능을 달성했다.
• BEAMs에서 중심층(Centered layers)을 사용할 경우 이미지 품질이 더욱 향상되었으며, 이는 방법의 유연성과 아키텍처 개선 잠재력의 증거가 되었다.