[논문 리뷰] Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention

Kazi Nazmul Haque, Mohammad Abu Yousuf외 1명|arXiv (Cornell University)|2018. 01. 16.

Image and Signal Denoising Methods참고 문헌 19인용 수 14

한 줄 요약

이 논문은 이미지 노이즈 제거 및 복원을 위해 직접 attention을 갖춘 CNN-LSTM 인코더-디코더 모델을 제안한다. CNN은 특징 추출을, LSTMs는 손실된 이미지 부분의 시퀀스 기반 복원을 담당한다. 중증으로 손상된 MNIST 숫자 이미지로 훈련된 모델은 표준 CNN 오토에인코더보다 손실된 형태를 효과적으로 복구하고 노이즈를 감소시켜, attention과 RMSE 손실 최적화를 통해 더 매끄럽고 정확한 복원을 달성한다.

ABSTRACT

Image denoising is always a challenging task in the field of computer vision and image processing. In this paper, we have proposed an encoder-decoder model with direct attention, which is capable of denoising and reconstruct highly corrupted images. Our model consists of an encoder and a decoder, where the encoder is a convolutional neural network and decoder is a multilayer Long Short-Term memory network. In the proposed model, the encoder reads an image and catches the abstraction of that image in a vector, where decoder takes that vector as well as the corrupted image to reconstruct a clean image. We have trained our model on MNIST handwritten digit database after making lower half of every image as black as well as adding noise top of that. After a massive destruction of the images where it is hard for a human to understand the content of those images, our model can retrieve that image with minimal error. Our proposed model has been compared with convolutional encoder-decoder, where our model has performed better at generating missing part of the images than convolutional autoencoder.

연구 동기 및 목표

• 이미지에서 큰 손실 영역을 복원하는 데에 있어 컨volutional 오토에인코더의 한계를 해결하기 위해.
• 중요한 부분이 손실된 경우 LSTMs의 기억력과 시퀀스 모델링 능력을 활용하여 이미지 복원을 위해.
• CNN 기반 특징 추출과 LSTM 기반 순차적 생성을 조합하여 이미지 노이즈 제거 및 완성 성능을 향상시키기 위해.
• 디코더가 복원 과정에서 인코딩된 표현과 원본 손상된 이미지를 동시에 접근할 수 있도록 하는 직접 attention의 효과를 평가하기 위해.
• 인간의 인식이 원래 내용을 식별하기 어려운 정도로 심각하게 손상된 MNIST 숫자에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 인코더는 손상된 입력 이미지를 고정된 크기의 사고 벡터로 압축하는 컨volutional 신경망이다.
• 디코더는 다층 Long Short-Term Memory (LSTM) 네트워크로, 사고 벡터와 손상된 이미지를 행 단위로 처리하며, 인코딩된 표현과 원본 입력을 모두 사용해 복원한다.
• 직접 attention은 각 타임스텝에서 인코딩된 벡터와 손상된 이미지를 연결하여 구현되며, 이로써 LSTM이 전반적인 맥락과 국소적인 픽셀 수준의 정보를 모두 주시할 수 있도록 한다.
• 모델는 디코더의 입력으로 사고 벡터와 손상된 이미지를 조합하여, 인코더가 전체 구조적 정보를 포착하지 못한 경우에도 손실된 내용을 복구할 수 있도록 한다.
• 훈련은 학습률 0.001, 드롭아웃 25%, 평균 제곱 오차(RMSE) 손실 함수를 사용한 RMSProp을 통해 수행되며, 픽셀 단위의 복원 오차를 최소화한다.
• 모델는 각 숫자의 하단부가 검게 칠하고 노이즈를 추가한 수정된 MNIST 데이터셋으로 훈련되며, 심각한 이미지 열화를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 CNN과 LSTM을 조합한 인코더-디코더 아키텍처가 큰 손실 영역을 가진 이미지 복원에서 표준 컨volutional 오토에인코더를 능가할 수 있는가?
• RQ2 디코더가 인코딩된 표현과 원본 손상된 이미지를 모두 접근할 수 있도록 하는 직접 attention의 통합이 복원 품질을 향상시키는가?
• RQ3 입력이 심각하게 손상되고 모호한 경우, LSTM 기반 디코더가 합리적인 손실된 부분을 얼마나 잘 생성할 수 있는가?
• RQ4 RMSE 손실의 사용이 다른 손실 함수에 비해 복원된 이미지의 매끄러움과 정확도에 어떤 영향을 미치는가?
• RQ5 심각하게 손상된 수기 숫자의 구조적 세부 정보를 복구하는 데 있어, 순수하게 컨볼루션 기반 모델보다 제안된 모델이 더 효과적인가?

주요 결과

• CNN-LSTM 모델은 중증으로 손상된 MNIST 숫자의 손실된 부분 복원에서 뛰어난 성능을 보였으며, CNN-CNN 오토에인코더는 정확한 형태를 복구하지 못했다.
• 하단부가 검게 칠하고 노이즈가 추가된 이미지에서도 모델은 최소한의 오차로 복원에 성공했으며, 시각적 품질과 구조적 정확도에서 베이스라인 컨볼루션 모델을 능가했다.
• CNN-LSTM 모델의 손실 곡선은 500만 회 반복 동안 지속적인 감소 추세를 보이며 안정적이고 효과적인 학습을 나타냈고, CNN-CNN 모델의 손실은 조기에 정체되었다.
• RMSE 손실이 지상 진실 픽셀 값에 가까운 값을 유도함으로써, CNN-LSTM 모델이 복원한 이미지는 원본보다 더 매끄럽고 정확했으며, 스트로크 폭에 걸쳐 보다 우수한 일반화를 이끌어냈다.
• 훈련 시간은 CNN-LSTM 모델이 6시간 58분이었고, CNN-CNN 모델은 4시간 19분이었으며, 이는 훈련 시간과 복원 품질 사이의 상충 관계를 시사한다.
• 그림 7의 시각적 비교 결과, CNN-LSTM 모델은 CNN-CNN 모델보다 더 선명하고 일관성 있는 숫자를 생성했으며, 가장자리 유지와 형태 일관성에서 뛰어난 성능을 보였다.