[논문 리뷰] On denoising autoencoders trained to minimise binary cross-entropy

Antonia Creswell, Kai Arulkumaran외 1명|arXiv (Cornell University)|2017. 08. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 63

한 줄 요약

이 논문은 이진 교차 엔트로피로 학습된 잡음 제거 자동인코더(DAE)가 데이터 밀도의 그래디언트를 근사할 수 있어, 그레이디언트 기반의 데이터 공간 이동을 더 높은 가능도 영역으로 유도하고 노이즈로부터의 새로운 샘플 합성 및 다른 생성 모델의 샘플 개선을 가능하게 한다.

ABSTRACT

Denoising autoencoders (DAEs) are powerful deep learning models used for feature extraction, data generation and network pre-training. DAEs consist of an encoder and decoder which may be trained simultaneously to minimise a loss (function) between an input and the reconstruction of a corrupted version of the input. There are two common loss functions used for training autoencoders, these include the mean-squared error (MSE) and the binary cross-entropy (BCE). When training autoencoders on image data a natural choice of loss function is BCE, since pixel values may be normalised to take values in [0,1] and the decoder model may be designed to generate samples that take values in (0,1). We show theoretically that DAEs trained to minimise BCE may be used to take gradient steps in the data space towards regions of high probability under the data-generating distribution. Previously this had only been shown for DAEs trained using MSE. As a consequence of the theory, iterative application of a trained DAE moves a data sample from regions of low probability to regions of higher probability under the data-generating distribution. Firstly, we validate the theory by showing that novel data samples, consistent with the training data, may be synthesised when the initial data samples are random noise. Secondly, we motivate the theory by showing that initial data samples synthesised via other methods may be improved via iterative application of a trained DAE to those initial samples.

연구 동기 및 목표

• 재구성 손실로 학습된 DAE가 데이터 생성 분포와 관련된 이론을 동기 부여하고 확장한다.
• BCE 기반 DAE가 로그 p(x)의 그래디언트를 근사하고 데이터 공간에서의 그래디언트 상승을 유도함을 보인다.
• 무작위 노이즈로부터의 실용적 샘플링과 생성 자동인코더의 샘플 개선을 입증한다.
• 잡음 제거 기준을 사용하여 변분적 자동인코더(VAE)와 적대적 자동인코더(AAE)의 샘플을 향상시키기 위해 이론을 적용한다.

제안 방법

• 잡음 제거 자동인코더를 위한 BCE 기반 재구성 목표를 도출하고 BCE 하에서 최적 재구성 함수를 도출한다(데이터 공간에서의 그래디언트를 이끈다).
• BCE로 학습된 DAE가 극한에서 로그 밀도의 그래디언트를 근사함을 입증하며, 이는 MSE 학습 DAE와 유사하다.
• CelebA 데이터에서 VAE와 AAE의 잡음 제거 변형을 학습하고 additive Gaussian 오염을 사용한다.
• 학습된 재구성 함수를 사용하여 노이즈에서 데이터 유사 샘플로의 반복적 샘플링을 시연한다.
• 반복적 적용이 DVAE와 DAAE가 생성한 샘플을 개선할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 데이터에 대해 BCE로 학습된 DAE가 데이터 생성 분포의 그래디언트를 근사할 수 있는가?
• RQ2 BCE로 학습된 잡음 제거 자동인코더의 반복적 적용이 샘플을 데이터 분포의 더 높은 확률 영역으로 이동시키는가?
• RQ3 BCE 기반 DAE가 DVAE 및 DAAE와 같은 생성 모델의 샘플 품질을 개선할 수 있는가?
• RQ4 무작위 노이즈에서 시작하여 BCE-DAEs를 사용해 학습 데이터와 일치하는 새로운 데이터 샘플을 합성하는 것이 가능한가?
• RQ5 이러한 모델에서의 샘플링을 돕는 실용적 지침이나 기법(예: 노이즈 증강)은 무엇인가?

주요 결과

• BCE 손실은 한계가 더 높은 데이터 가능도에 대한 그래디언트 상승 스텝에 대응하는 재구성 함수를 도출한다.
• 무작위 노이즈에서 학습된 BCE-DAE의 반복적 적용은 학습 데이터와 일치하는 새로운 샘플을 생성할 수 있다.
• 샘플링 방법은 DVAE 및 DAAE 모델에서 얻은 초기 샘플을 개선할 수 있다.
• 반복 사이에 작은 노이즈를 추가하는 것은 데이터 공간을 매끄럽게 만들고 고밀도 영역으로의 전이를 돕는다.
• 이 접근법은 학습된 BCE-DAE를 생성 연산자로 적용하여 재학습 없이 샘플을 개선하는 길을 제시한다.