[논문 리뷰] Demoiréing of Camera-Captured Screen Images Using Deep Convolutional Neural Network

Bolin Liu, Xiao Shu외 1명|arXiv (Cornell University)|2018. 04. 11.

Image and Signal Denoising Methods참고 문헌 3인용 수 26

한 줄 요약

이 논문은 합성 데이터 생성과 군집에서 세분으로의 아키텍처를 활용하여 카메라로 촬영한 화면 이미지의 모리에 패턴을 효과적으로 억제하는 이단계 심층 합성 신경망(DCNN)을 제안한다. 이 방법은 합성 데이터에서 PSNR 기준 최대 3 dB, SSIM 기준 0.014 향상되어 최신 기술 수준을 달성하며, 이중 학습 전략을 통해 실제 이미지로의 일반화 능력이 뛰어나다.

ABSTRACT

Taking photos of optoelectronic displays is a direct and spontaneous way of transferring data and keeping records, which is widely practiced. However, due to the analog signal interference between the pixel grids of the display screen and camera sensor array, objectionable moiré (alias) patterns appear in captured screen images. As the moiré patterns are structured and highly variant, they are difficult to be completely removed without affecting the underneath latent image. In this paper, we propose an approach of deep convolutional neural network for demoiréing screen photos. The proposed DCNN consists of a coarse-scale network and a fine-scale network. In the coarse-scale network, the input image is first downsampled and then processed by stacked residual blocks to remove the moiré artifacts. After that, the fine-scale network upsamples the demoiréd low-resolution image back to the original resolution. Extensive experimental results have demonstrated that the proposed technique can efficiently remove the moiré patterns for camera acquired screen images; the new technique outperforms the existing ones.

연구 동기 및 목표

• 디스플레이와 센서 샘플링 격자 간 간섭으로 인해 이미지 품질이 떨어지는 구조적이고 변동성이 큰 모리에 패턴을 제거하는 문제를 해결한다.
• 실제 촬영된 데이터 쌍(모리에 영향을 받은 이미지와 청소년 이미지) 확보가 어려운 문제를 해결하기 위해 LCD와 베이어 CFA 상호작용의 물리적 모델을 사용해 현실적인 합성 훈련 데이터를 생성한다.
• 다양한 공간 주파수에서 모리에 패턴을 더 잘 포착하고 제거할 수 있도록 군집에서 세분으로의 해상도 처리를 수행하는 다중 척도 DCNN 아키텍처를 개발한다.
• 카메라 흔들림, 반사 등의 실제 환경에서의 열악한 조건에 대한 내성을 향상시키기 위해 이중 학습 전략을 도입한다: 먼저 합성 데이터로 사전 훈련한 후 실제 촬영 이미지로 미세 조정한다.
• 색상 줄무늬와 같은 대규모 모리에 패턴에 대해 DnCNN 및 RED-Net과 같은 기존 방법들보다 뛰어난 모리에 제거 성능을 보여준다.

제안 방법

• 베이어 CFA 카메라와 LCD 서브픽셀 구조를 모델링하여 물리적 방식으로 모리에 패턴을 형성하고, 청소년 디지털 이미지에서 현실적인 모리에 영향을 받은 이미지를 생성함으로써 훈련 데이터를 합성한다.
• 이중 단계 DCNN 아키텍처를 설계한다: 입력을 다운샘플링하여 군집 해상도로 처리하는 네트워크와 결과를 원본 해상도로 업샘플링하는 세분 네트워크로 구성된다.
• 이중 학습 절차를 구현한다: 먼저 합성 데이터에서 생성자와 판별자를 사전 훈련하고, 이후 실제 카메라로 촬영한 이미지와 첫 번째 단계 출력을 사용하여 생성자를 미세 조정한다.
• GAN 기반 프레임워크를 사용하여 시각적 품질을 향상시키며, k=1로 설정하고 Adam 옵티마이저를 사용하여 학습률 10⁻⁵로 생성자와 판별자를 번갈아가며 훈련한다.
• 군집 네트워크의 사전 훈련을 위해 이중 선형 보간 업샘플링을 적용하고, 다양한 척도 간 효과적인 특징 학습을 보장하기 위해 수용 영역 일치 전략을 사용한다.
• 군집 및 세분 네트워크 양쪽 모두 잔차 블록을 활용하여 훈련 안정성 향상과 모리에 제거 과정에서 이미지 세부 정보 유지에 기여한다.

실험 결과

연구 질문

• RQ1 실제 쌍이 없는 경우, 딥 러닝 기반 접근법이 복잡하고 구조적인 모리에 패턴을 효과적으로 제거할 수 있는가?
• RQ2 단일 척도 네트워크와 비교해 복수 척도의 군집에서 세분으로의 DCNN 아키텍처가 모리에 제거 성능을 어떻게 향상시키는가?
• RQ3 물리적 모델을 활용해 생성한 합성 훈련 데이터가 실제 카메라로 촬영한 이미지로의 일반화 능력은 어느 정도인가?
• RQ4 합성 데이터로 사전 훈련한 후 실제 이미지로 미세 조정하는 이중 학습 전략이 실제 이미지에서의 성능과 내성에 크게 기여하는가?
• RQ5 PSNR, SSIM 및 시각적 품질 측면에서 DnCNN 및 RED-Net과 같은 최신 이미지 복원 네트워크와 비교해 제안된 방법의 정량적·정성적 성능은 어떠한가?

주요 결과

• 제안된 방법은 합성 군집 해상도 이미지에서 41.59 dB PSNR와 0.9934 SSIM를 달성하여 DnCNN35(38.84 dB PSNR, 0.9858 SSIM)보다 PSNR 기준 2.7 dB 이상, SSIM 기준 0.0076 향상되었다.
• 고해상도 합성 데이터에서의 성능은 40.01 dB PSNR와 0.9829 SSIM를 기록하였으며, DnCNN35(37.46 dB PSNR, 0.9678 SSIM)와 RED36(37.80 dB PSNR, 0.9717 SSIM)를 크게 초월하였다.
• 실제 카메라로 촬영한 이미지에서의 시각적 결과는 제안된 방법이 색상 줄무늬와 같은 대규모 모리에 패턴을 효과적으로 제거하는 데 성공했음을 보여주며, DnCNN 및 RED-Net은 이러한 아티팩트를 억제하지 못했다.
• 이중 학습 전략 덕분에 합성 데이터로 주로 훈련된 모델이 실제 이미지로의 일반화 능력이 뛰어나며, 실제 테스트 세트에서의 뛰어난 성능으로 이를 입증하였다.
• 기본 네트워크 대비 최소한의 계산 오버헤드를 유지하면서도 경쟁적인 추론 속도를 확보하였으며, GPU 타이밍 결과로 이를 확인할 수 있었다.
• 인간 평가자들은 특히 세부 정보 유지와 색상 아티팩트 감소 측면에서 제안된 방법이 더 깔끔하고 자연스러운 결과를 제공한다고 일관되게 평가하였다.