[논문 리뷰] Learning to Generate Samples from Noise through Infusion Training

Florian Bordes, Sina Honari외 1명|arXiv (Cornell University)|2017. 03. 20.

Music and Audio Processing인용 수 11

한 줄 요약

이 논문은 표적 데이터 분포와 일치하는 고품질 샘플로 점차 노이즈를 제거하는 마르코프 체인 전이 연산자를 학습하기 위한 새로운 훈련 방법인 인퓨전 훈련을 제안한다. 표적 데이터 예제를 훈련 체인에 통합함으로써, 모델은 몇 번의 단계 안에 다양한 고해상도 샘플을 생성할 수 있으며, 기준 GAN보다 경쟁력 있는 인ception 점수와 더 나은 샘플 품질을 달성한다.

ABSTRACT

In this work, we investigate a novel training procedure to learn a generative model as the transition operator of a Markov chain, such that, when applied repeatedly on an unstructured random noise sample, it will denoise it into a sample that matches the target distribution from the training set. The novel training procedure to learn this progressive denoising operation involves sampling from a slightly different chain than the model chain used for generation in the absence of a denoising target. In the training chain we infuse information from the training target example that we would like the chains to reach with a high probability. The thus learned transition operator is able to produce quality and varied samples in a small number of steps. Experiments show competitive results compared to the samples generated with a basic Generative Adversarial Net

연구 동기 및 목표

• 랜덤 노이즈를 점진적인 노이즈 제거를 통해 현실적인 샘플로 변환할 수 있는 생성 모델을 개발한다.
• 고차원 데이터에 대해 순서가 임의로 정해지는 방식에 의존하고 느린 자동재귀 모델의 한계를 해결한다.
• 표준 GAN에 비해 샘플 품질과 다양성을 향상시키며, 두 개의 네트워크를 훈련시켜야 하고 모드 붕괴 및 훈련 불안정성에 취약한 점을 개선한다.
• 잠재공간의 병목 현상을 피하기 위해 직접 입력공간 전이 연산자를 학습함으로써 효율적이고 빠른 샘플링을 가능하게 한다.
• 학습 중에 원하는 데이터 포인트로 향하게 하는 데 기여하는 표적-인퓨전 기반의 새로운 훈련 목표를 탐색한다.

제안 방법

• 모델은 T단계로 구성된 마르코프 체인을 통해 입력 노이즈를 데이터 분포를 따르는 샘플로 매핑하는 확률적 전이 연산자를 학습한다.
• 실제 훈련 데이터 포인트의 정보를 주입함으로써 훈련 체인을 편향시키는 새로운 '표적-인퓨전' 기법을 도입한다.
• 훈련 중에 특정 단계에서 표적 데이터 포인트가 통합된 수정된 체인을 사용함으로써, 체인이 해당 지점으로 수렴하도록 유도한다.
• 추론 과정에서는 학습된 전이 연산자만을 사용하며, 인자의 노이즈 입력에 대해 반복적으로 적용하여 샘플을 생성한다.
• 대안적 훈련을 피하기 위해 노이즈 제거 성능에 기반한 히우리스틱 대체 손실을 사용하며, 로그우도 증가에 대한 경험적 증거를 제공한다.
• 인ception 점수, 시각적 품질, 인painting 작업을 통해 MNIST, CelebA, CIFAR-10, Toronto Face Dataset에서 평가한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 학습된 마르코프 체인을 통해 점진적인 노이즈 제거를 통해 고품질이고 다양한 샘플을 생성할 수 있는가?
• RQ2 표적-인퓨전을 훈련 중에 적용할 경우, 표준 디퓨전 또는 GAN 기반 방법에 비해 샘플 품질과 수렴 속도가 향상되는가?
• RQ3 대안적 모델인 GAN과 비교했을 때, 제안된 방법은 샘플 품질과 훈련 안정성 측면에서 어떻게 다른가?
• RQ4 부분적으로 제공된 입력이 있는 조건부 생성 작업, 예를 들어 인painting 작업에 일반화될 수 있는가?
• RQ5 히우리스틱 손실을 사용하고도 인퓨전 훈련 절차가 로그우도 추정치에 의미 있는 증가를 이끌어내는가?

주요 결과

• 인퓨전 훈련된 모델은 CIFAR-10에서 4.62 ± 0.06의 인ception 점수를 기록했으며, 비지도 학습 기준(-L)의 4.36 ± 0.06과 반지도 학습 기준(SP)의 8.09 ± 0.07를 초월했다.
• 모델이 생성한 샘플은 선명하고 다양했으며, 생성된 샘플과 가장 가까운 훈련 데이터 포인트를 비교한 결과 훈련 데이터를 암기한 흔적은 없었다.
• 인painting 실험 결과, 모델은 제공된 부분 입력과 일관되며 다양한 완성된 이미지 영역을 생성할 수 있었다.
• Sohl-Dickstein 등이 제안한 디퓨전 기반 방법보다 더 적은 노이즈 제거 단계를 필요로 하여 더 빠른 수렴과 단계당 더 높은 샘플 품질을 나타냈다.
• 디스커미네이터가 필요로 하지 않아도 GAN과 경쟁 가능한 성능을 달성했으며, 관련된 훈련 불안정성 문제도 피했다.
• 하한 기반 인퓨전 훈련은 히우리스틱 손실과 유사한 결과를 도출했으며, 이는 강건성과 이론적 확장 가능성의 잠재력을 시사한다.