[논문 리뷰] Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs

Lin Liu, Shanxin Yuan외 4명|arXiv (Cornell University)|2020. 11. 03.

Advanced Image Processing Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 초점이 맞춰진 모자라게 영향을 받은 이미지와 해당 초점이 흐린 모자라지 않은 흐림 이미지를 입력으로 사용하여, 테스트 시점에서 학습하는 자기 적응형 방법을 제안한다. 이 방법은 반복적으로 최적화되는 유사 U-Net 아키텍처의 네트워크와 3층의 완전 연결 블러 커널 예측기로 구성되며, 명시적 학습 없이도 깨끗한 이미지를 복원하며, 합성 및 실세계 데이터셋 모두에서 최신 기술 수준(SOTA)을 초월한다. 이는 고주파 무늬 모자라 패턴을 포함한 새로운 벤치마크를 포함한다.

ABSTRACT

Moire artifacts are common in digital photography, resulting from the interference between high-frequency scene content and the color filter array of the camera. Existing deep learning-based demoireing methods trained on large scale datasets are limited in handling various complex moire patterns, and mainly focus on demoireing of photos taken of digital displays. Moreover, obtaining moire-free ground-truth in natural scenes is difficult but needed for training. In this paper, we propose a self-adaptive learning method for demoireing a high-frequency image, with the help of an additional defocused moire-free blur image. Given an image degraded with moire artifacts and a moire-free blur image, our network predicts a moire-free clean image and a blur kernel with a self-adaptive strategy that does not require an explicit training stage, instead performing test-time adaptation. Our model has two sub-networks and works iteratively. During each iteration, one sub-network takes the moire image as input, removing moire patterns and restoring image details, and the other sub-network estimates the blur kernel from the blur image. The two sub-networks are jointly optimized. Extensive experiments demonstrate that our method outperforms state-of-the-art methods and can produce high-quality demoired results. It can generalize well to the task of removing moire artifacts caused by display screens. In addition, we build a new moire dataset, including images with screen and texture moire artifacts. As far as we know, this is the first dataset with real texture moire patterns.

연구 동기 및 목표

• 자연 이미지 및 디지털 디스플레이에서 복잡하고 변동성이 큰 모자라 패턴을 제거하는 데 도전하는 데 있으며, 다양한 고품질 학습 데이터가 부족하여 지도 학습 방법이 어려운 이유를 고려한다.
• 테스트 시점 적응 과정에서 흐린 모자라지 않은 이미지를 가이드로 활용하여, 명시적 학습 없이도 효과적인 무모자라 복원을 가능하게 한다.
• 디지털 스크린과 고주파 무늬에서 유래한 실세계 모자라 패턴을 포함한 새로운 벤치마크 데이터셋을 구축하며, 이는 이 분야에서 처음으로 제공되는 것이다.
• 기존 캡처 파이프라인을 수정하지 않고도 표준 디지털 카메라 및 스마트폰에 적용 가능한 하드웨어에 종속되지 않는 방법을 개발한다.

제안 방법

• 이 방법은 이중 서브넷 아키텍처를 사용한다: 하나는 이미지 무모자라 복원(유사 U-Net 인코더-디코더)을 위한 것이고, 다른 하나는 블러 커널 추정(3층 완전 연결 네트워크)을 위한 것이다. 두 네트워크는 테스트 시점에서 반복적으로 최적화된다.
• 무모자라 복원 네트워크는 초점이 맞춰진 모자라 영향을 받은 이미지를 입력으로 받아 반복적 개선을 통해 깨끗하고 모자라지 않은 이미지를 예측한다.
• 블러 커널 추정 네트워크는 흐린 모자라지 않은 이미지를 사용하여 공간적으로 변화하는 블러 커널을 예측하며, 저역통과 필터링 효과를 모델링한다.
• 두 네트워크는 반복적이고 자기 적응적인 방식으로 공동 최적화되며, 사전 학습된 가중치 없이도 예측되지 않은 모자라 패턴에 적응할 수 있다.
• 흐린 이미지는 소프트웨어 또는 하드웨어를 통해 생성되며, 모자라 아티팩트를 제거하면서도 구조적 세부 정보를 유지하는 저역통과 필터를 시뮬레이션한다.
• 이 방법은 무모자라 복원을 공동 필터링 문제로 간주하며, 블러 커널이 복원 과정을 안내함으로써 정밀도와 세부 정보 복원 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기 적응형 테스트 시점 학습 접근 방식이 대규모 데이터셋에 대한 명시적 학습 없이도 복잡한 모자라 패턴을 효과적으로 제거할 수 있는가?
• RQ2 흐린 모자라지 않은 이미지가 초점이 맞춰진 모자라 영향을 받은 이미지에서 깨끗한 이미지를 복원하는 데 신뢰할 수 있는 가이드로 기능할 수 있는가?
• RQ3 제안된 방법이 실세계 상황에서 스크린 유래 및 무늬 유래 모자라 패턴 모두에 대해 어떻게 일반화되는가?
• RQ4 이미지 복원과 블러 커널 추정의 공동 최적화가 기존 지도 및 비지도 무모자라 복원 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 방법 FDNet은 공개 데이터셋(TIP2018, LCDMoire)과 새로 도입된 RealScreenMoire 및 RealTextureMoire 데이터셋 모두에서 최신 기술 수준 성능을 달성한다.
• 고주파 무늬 모자라 패턴을 포함한 RealTextureMoire 데이터셋에서, FDNet은 스크린 전용 데이터로 학습된 지도 학습 방법인 MopNet과 SVLRM보다 뚜렷하게 뛰어난 성능을 보였다.
• 정량적 결과에서는 FDNet이 합성 및 실세계 테스트 세트 양쪽에서 경쟁 방법보다 높은 PSNR와 SSIM을 기록하여, 더 뛰어난 복원 품질과 세부 정보 유지 능력을 입증한다.
• 시각적 비교 결과, FDNet은 DIP 및 DoubleDIP와 같은 방법들이 잔류 아티팩트나 과도한 부드러움을 유발하는 것과 달리, 모자라 패턴을 효과적으로 제거하면서 날카운 무늬를 유지함을 보였다.
• 스크린 기반 모자라 패턴에 대해서도 일반화 능력이 뛰어나, SynScreenMoire 및 SynTextureMoire 벤치마크에서 비지도 및 지도 기반 베이스라인 모두를 능가하는 성능을 보였다.
• 제거 실험 결과는 이미지 복원과 블러 커널 추정의 공동 최적화가 성능 향상에 필수적임을 확인하였으며, 구성 요소를 제거할 경우 성능 저하가 뚜렷하게 나타났다.