[논문 리뷰] Deep Belief Networks for Image Denoising

Mohammad Ali Keyvanrad, Mohammad Pezeshki외 1명|arXiv (Cornell University)|2013. 12. 20.

Image and Signal Denoising Methods참고 문헌 11인용 수 5

한 줄 요약

이 논문은 최종 은닉층에서 노이즈와 이미지 콘텐츠 특징을 구분할 수 있도록 학습하는 딥 벨리프 네트워크(Deep Belief Networks, DBNs)를 사용하는 새로운 이미지 노이즈 제거 방법을 제안한다. 노이즈에 주로 의해 활성화되는 노드를 식별하고 억제함으로써 모델은 더 깔끔한 이미지를 재구성하며, 추가로 가우시안 백색 노이즈(분산 0.20)가 첨가된 MNIST에서 평균 제곱오차(MSE)를 65.9% 감소시킨다.

ABSTRACT

Deep Belief Networks which are hierarchical generative models are effective tools for feature representation and extraction. Furthermore, DBNs can be used in numerous aspects of Machine Learning such as image denoising. In this paper, we propose a novel method for image denoising which relies on the DBNs' ability in feature representation. This work is based upon learning of the noise behavior. Generally, features which are extracted using DBNs are presented as the values of the last layer nodes. We train a DBN a way that the network totally distinguishes between nodes presenting noise and nodes presenting image content in the last later of DBN, i.e. the nodes in the last layer of trained DBN are divided into two distinct groups of nodes. After detecting the nodes which are presenting the noise, we are able to make the noise nodes inactive and reconstruct a noiseless image. In section 4 we explore the results of applying this method on the MNIST dataset of handwritten digits which is corrupted with additive white Gaussian noise (AWGN). A reduction of 65.9% in average mean square error (MSE) was achieved when the proposed method was used for the reconstruction of the noisy images.

연구 동기 및 목표

• 딥 벨리프 네트워크(DBNs)의 특징 표현 능력을 활용한 딥 러닝 기반의 이미지 노이즈 제거 방법을 개발하기 위해.
• DBN의 최종 은닉층 내에서 노이즈 특징과 청소년 이미지 특징 간의 행동 차이를 모델링하고 학습하기 위해.
• 최종 레이어에서 주로 노이즈를 나타내는 노드를 식별하고 비활성화함으로써 노이즈 억제를 가능하게 하기 위해.
• 노이즈 노드 억제 후에 이미지 콘텐츠를 나타내는 노드들만을 사용하여 재구성함으로써 개선된 이미지 재구성 품질을 달성하기 위해.

제안 방법

• 그리디 레이어와이즈 사전 훈련 방법을 사용하여 MNIST 데이터셋의 일부를 대상으로 네 개의 은닉층(784-1000-500-250-100)을 가진 DBN을 훈련한다.
• 같은 노드가 청소년 이미지와 노이즈가 첨가된 이미지가 입력되었을 때의 활성화 값을 빼서 최종 레이어의 각 노드의 상대적 활성도를 계산한다.
• 모든 훈련 이미지에 걸쳐 평균 상대 활성도가 0.9 이상인 노드를 노이즈 노드로 식별한다.
• 각 노이즈 노드의 중립(비활성) 값을 훈련 세트 내 모든 청소년 이미지에서의 활성도 평균을 통해 결정한다.
• 훈련된 DBN에 노이즈가 첨가된 입력을 입력하고, 식별된 노이즈 노드의 값을 각각의 중립 값으로 설정함으로써 노이즈가 제거된 이미지를 재구성한다.
• 수정된 최종 레이어 활성도를 기반으로 DBN의 생성 능력을 활용하여 입력 이미지를 재구성함으로써 효과적으로 노이즈를 제거한다.

실험 결과

연구 질문

• RQ1 딥 벨리프 네트워크는 최종 은닉층에서 이미지 콘텐츠를 나타내는 특징과 노이즈를 나타내는 특징를 구분할 수 있는가?
• RQ2 최종 레이어 노드의 상대적 활성도는 노이즈에 주로 의해 활성화되는 노드를 탐지하는 데 어떻게 활용될 수 있는가?
• RQ3 추가로 가우시안 백색 노이즈가 첨가된 상황에서, 식별된 노이즈에 의해 활성화되는 노드를 억제함으로써 이미지 재구성 품질은 어느 정도 향상될 수 있는가?
• RQ4 사전 훈련된 DBN에서 노이즈 민감도가 높은 노드를 선택적으로 비활성화함으로써 상당한 MSE 감소를 달성할 수 있는가?

주요 결과

• 제안된 방법은 노이즈가 첨가된 이미지의 평균 제곱오차(MSE) 0.0966에서 노이즈 노드 억제 후 재구성된 이미지의 MSE 0.0329로 65.9% 감소시켰다.
• 시각적으로 확인된 그림 5에 따르면, 노이즈에 의해 활성화되는 노드를 제거한 후 재구성 품질이 크게 향상되었으며, 출력이 더 선명하고 노이즈가 적은 것으로 나타났다.
• 평균 상대 활성도가 0.9를 초과하는 노드들은 노이즈 노드로 신뢰성 있게 식별되었으며, 이는 DBN이 노이즈 행동을 강력하게 구분할 수 있음을 시사한다.
• 각 노이즈 노드의 중립 값은 청소년 이미지에서의 활성도 평균을 통해 효과적으로 결정되어 재구성 과정에서 일관된 억제가 가능했다.
• 선택적 노드 비활성화 후 DBN의 생성 재구성 능력을 활용하여 노이즈가 없는 이미지를 성공적으로 재구성하였다.
• 이 방법은 DBN이 특징 학습을 위한 것 외에도, 은닉층 활성도의 후처리를 통해 목표 지향적인 노이즈 억제를 수행할 수 있음을 보여주었다.