[논문 리뷰] Image Companding and Inverse Halftoning using Deep Convolutional Neural Networks

Xianxu Hou, Guoping Qiu|arXiv (Cornell University)|2017. 07. 01.

Color Science and Applications참고 문헌 41인용 수 40

한 줄 요약

이 논문은 깊이 강화된 합성곱 신경망(CNN)과 인지적 손실을 활용한 딥러닝 프레임워크를 제안하며, 저비트 또는 이진 표현으로 압축된 이미지를 복원하기 위해 비선형 매핑 함수로 CNN을 학습시켜 고비트 또는 연속 톤 이미지를 재구성한다. 이 방법은 기준 데이터셋에서 PSNR 및 SSIM 측정치에서 기존 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we introduce deep learning technology to tackle two traditional low-level image processing problems, companding and inverse halftoning. We make two main contributions. First, to the best knowledge of the authors, this is the first work that has successfully developed deep learning based solutions to these two traditional low-level image processing problems. This not only introduces new methods to tackle well-known image processing problems but also demonstrates the power of deep learning in solving traditional signal processing problems. Second, we have developed an effective deep learning algorithm based on insights into the properties of visual quality of images and the internal representation properties of a deep convolutional neural network (CNN). We train a deep CNN as a nonlinear transformation function to map a low bit depth image to higher bit depth or from a halftone image to a continuous tone image. We also employ another pretrained deep CNN as a feature extractor to derive visually important features to construct the objective function for the training of the mapping CNN. We present experimental results to demonstrate the effectiveness of the new deep learning based solutions.

연구 동기 및 목표

• 저비트 또는 이진 표현으로 압축된 이미지에서 손실된 정보를 복원하는 문제의 불안정한 성격을 해결하기 위해.
• 기존 수작업으로 설계된 방법들을 능가하는 딥러닝 기반 솔루션을 개발하기 위해.
• 사전 학습된 CNN의 다양한 층에서 유도된 인지적 손실이 재구성 작업에서 이미지 품질에 미치는 영향을 조사하기 위해.
• 딥 CNN이 압축되거나 역할링팅된 입력에서 고정밀도 이미지를 재구성하기 위해 시각적 품질과 공간 상관관계를 효과적으로 모델링할 수 있음을 보여주기 위해.

제안 방법

• 저비트 또는 역할링팅된 이미지를 고비트 또는 연속 톤 이미지로 매핑하기 위해 비선형 변환 함수로 깊이 강화된 CNN을 학습시킨다.
• 사전 학습된 깊이 강화된 CNN(예: VGG)을 별도의 특징 추출기로 사용하여 인지적으로 중요한 특징을 유도한다.
• 학습 목표는 픽셀 수준의 재구성 손실과 사전 학습된 네트워크의 중간 합성곱 층에서 계산된 인지적 손실을 조합한다.
• 다양한 네트워크 깊이(예: conv1_1, conv2_1 등)에서 인지적 손실을 계산하여 특징 층 선택이 이미지 품질에 미치는 영향을 평가한다.
• 원본 이미지와 압축되거나 역할링팅된 이미지의 쌍을 사용하여 지도 학습 방식으로 프레임워크를 학습시킨다.
• PSNR 및 SSIM을 사용하여 성능을 평가하며, 손실 층 선택에 대한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 저비트 또는 역할링팅된 입력에서 고품질 이미지를 재구성하기 위해 딥 CNN을 어떻게 효과적으로 활용할 수 있는가? 특히 눈에 띄는 아티팩트를 최소화할 수 있는가?
• RQ2 이미지 재구성 작업에서 인지적 손실을 구성하기 위해 사전 학습된 CNN의 최적의 특징 층은 무엇인가?
• RQ3 픽셀 수준의 손실과 비교할 때 인지적 손실은 시각적 품질과 PSNR, SSIM 등의 정량적 지표에서 어떤 차이를 보이는가?
• RQ4 통합된 딥러닝 프레임워크가 이미지 컴프랜딩과 역할링팅을 동시에 효과적으로 처리할 수 있는가?
• RQ5 사전 학습된 CNN의 다양한 네트워크 층이 재구성된 이미지의 인지적 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 역할링팅 분야에서 새로운 최고 성능를 달성하였으며, Koala 이미지에서 PSNR 27.63 dB, SSIM 0.89를 기록하여 GLDP 및 LLDO를 능가했다.
• Barbara 이미지에서는 PSNR 31.79 dB, SSIM 0.92를 달성하여 MAP 및 ALF와 같은 이전 방법들을 크게 능가했다.
• conv1_1 층에서 유도된 인지적 손실을 사용한 모델이 가장 우수한 전반적 성능을 보였으며, 고층에서의 손실은 약간의 격자 무늬 아티팩트를 유발하여 PSNR 및 SSIM를 감소시켰다.
• 색상 이미지에 대해서는 Peppers 이미지에서 PSNR 31.44 dB, SSIM 0.89를 달성하여 비교된 모든 방법들을 능가했다.
• 분석 연구를 통해 초기 합성곱 층에서 유도된 인지적 손실이 세부 사항과 아티팩트 억제를 균형 있게 제공하여 뛰어난 이미지 품질을 제공하는 것으로 확인되었다.
• 프레임워크는 컴프랜딩된 이미지의 블록킹, 윤곽선, 리버버브 아티팩트를 효과적으로 감소시키며, 역할링팅된 이미지의 미세한 질감과 윤곽선을 잘 복원한다.