[논문 리뷰] Boltzmann Machines and Denoising Autoencoders for Image Denoising

Kyunghyun Cho|arXiv (Cornell University)|2013. 01. 15.

Image and Signal Denoising Methods참고 문헌 18인용 수 29

한 줄 요약

이 논문은 볼츠만 기계, 특히 가우시안-베르누이 및 딥 볼츠만 기계가 고노이즈 수준에서 디노이징 오토에인코더(DAE)와 맞추거나 능가하는 효과적인 이미지 디노이징을 수행할 수 있음을 제안한다. 실험 결과 더 깊은 모델이 성능을 향상시키며, GDBM(4)는 고노이즈 수준에서 항공사진에 대해 최대 PSNR 22.3, 다양한 이미지에 대해 최대 PSNR 20.2를 기록했다.

ABSTRACT

Image denoising based on a probabilistic model of local image patches has been employed by various researchers, and recently a deep (denoising) autoencoder has been proposed by Burger et al. [2012] and Xie et al. [2012] as a good model for this. In this paper, we propose that another popular family of models in the field of deep learning, called Boltzmann machines, can perform image denoising as well as, or in certain cases of high level of noise, better than denoising autoencoders. We empirically evaluate the two models on three different sets of images with different types and levels of noise. Throughout the experiments we also examine the effect of the depth of the models. The experiments confirmed our claim and revealed that the performance can be improved by adding more hidden layers, especially when the level of noise is high.

연구 동기 및 목표

• 볼츠만 기계가 이미지 디노이징을 위한 디노이징 오토에인코더의 효과적인 대안이 될 수 있는지 조사하기.
• 다양한 노이즈 수준과 이미지 유형에서 모델의 깊이가 디노이징 성능에 미치는 영향을 평가하기.
• 블라인드 이미지 디노이징 설정에서 딥 볼츠만 기계와 딥 오토에인코더의 일반화 및 강건성의 차이를 비교하기.
• 다중 층의 잠재 변수를 가진 확률 모델이 얕거나 단일 층 모델보다 이미지 디노이징에서 더 우수한 성능을 내는지 평가하기.

제안 방법

• 에너지 기반 모델링과 최대 로그우도 추정을 사용하여 이미지 패치에서 가우시안-베르누이 제한 볼츠만 기계(GRBM)와 딥 볼츠만 기계(GDBM)를 훈련시켰다.
• 정확한 기울기 계산이 불가능하기 때문에, 매개변수 학습에 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용한 변분 근사법을 적용했다.
• 에너지 함수가 공동 확률 분포를 정의하는 가우시안 visible 단위와 이진 hidden 단위를 가진 다층 아키텍처를 사용했다.
• 후행 추론을 통해 노이즈가 있는 입력에 대해 깨끗한 패치의 기대값을 계산하여 테스트 이미지를 디노이징하기 위해 훈련된 모델을 적용했다.
• 백색 가우시안 노이즈와 소트-앤드-페퍼 노이즈 조건에서 항공사진, 텍스처, 다양한 이미지의 세 가지 다른 이미지 데이터셋에서 PSNR를 사용해 성능을 평가했다.
• 훈련에 사용되지 않은 데이터셋에 대한 일반화 능력을 평가하기 위해 히든 레이어 수가 1에서 4로 다양해진 모델을 비교했다.

실험 결과

연구 질문

• RQ1 특히 GRBM와 GDBM가 디노이징 오토에인코더와 동등하거나 더 우수한 성능을 내는가?
• RQ2 히든 레이어 수를 늘릴수록 볼츠만 기계 기반 및 오토에인코더 기반 모델의 성능에 어떤 영향을 미치는가?
• RQ3 볼츠만 기계와 디노이징 오토에인코더 사이에 고노이즈 수준에서의 강건성에 유의미한 차이가 있는가?
• RQ4 딥 볼츠만 기계는 테스트 데이터 분포에 대한 사전 지식 없이도 새로운 이미지 유형에 잘 일반화되는가?
• RQ5 모델의 깊이가 디노이징 출력에서 국소적 이미지 세부 정보를 포착하고 전반적인 구조를 유지하는 데 영향을 미치는가?

주요 결과

• GDBM(4)는 소트-앤드-페퍼 노이즈 수준 0.4 조건에서 항공사진에 대해 최고 PSNR 22.3, 다양한 이미지에 대해 최고 PSNR 20.2를 기록하여 모든 DAE 변종을 능가했다.
• 노이즈 수준이 높은 조건(0.4)에서 GRBM와 GDBM(2)가 DAE를 능가하여 볼츠만 기계가 심각한 손상에 더 강건함을 시사했다.
• 더 깊은 모델(4개 히든 레이어)은 모든 데이터셋에서 일관되게 성능 향상을 보였으며, 특히 고노이즈 조건에서 깊이가 디노이징 능력을 향상시킴을 확인했다.
• DAE(4)는 항공사진에서 PSNR 20.8, 다양한 이미지에서 PSNR 20.2를 기록하여 전체 순위에서 2위를 차지했지만, 고노이즈 환경에서는 GDBM(4)에 밀렸다.
• 시각적 분석 결과 BM은 더 세밀한 이미지 구조를 더 잘 유지했고, DAE는 특히 더 깊은 아키텍처에서 전반적인 이미지 일관성을 강조했다.
• GRBM는 매개변수 수가 절반인 DAE(2)보다 우수한 성능을 보였으며, 이는 볼츠만 모델에서 더 효과적인 후행 추론이 더 적은 매개변수로도 더 나은 성능을 낼 수 있음을 시사한다.