[논문 리뷰] Image Restoration for Under-Display Camera

Yuqian Zhou, David Ren외 3명|arXiv (Cornell University)|2020. 03. 10.

Image and Video Quality Assessment참고 문헌 43인용 수 11

한 줄 요약

이 논문은 디스플레이 내장 카메라로 인한 광학적 열화로 인해 발생하는 새로운 영상 복원 문제인 인장형 카메라(Under-Display Camera, UDC)를 제안한다. 광학 모델 기반의 복원 파이프라인(Wiener 필터)과 합성 데이터 기반의 학습 기반 방법을 융합한 하이브리드 접근 방식을 제안하며, 실시간으로 고품질의 영상 복원을 달성하고 얼굴 검출과 같은 후행 작업에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

The new trend of full-screen devices encourages us to position a camera behind a screen. Removing the bezel and centralizing the camera under the screen brings larger display-to-body ratio and enhances eye contact in video chat, but also causes image degradation. In this paper, we focus on a newly-defined Under-Display Camera (UDC), as a novel real-world single image restoration problem. First, we take a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED) and analyze their optical systems to understand the degradation. Second, we design a Monitor-Camera Imaging System (MCIS) for easier real pair data acquisition, and a model-based data synthesizing pipeline to generate Point Spread Function (PSF) and UDC data only from display pattern and camera measurements. Finally, we resolve the complicated degradation using deconvolution-based pipeline and learning-based methods. Our model demonstrates a real-time high-quality restoration. The presented methods and results reveal the promising research values and directions of UDC.

연구 동기 및 목표

• 디스플레이 통합으로 인한 광학적 열화로 인해 발생하는 실세계 영상 복원 문제로써 인장형 카메라(UDC) 시스템을 정의하고 분석하는 것.
• 실제 쌍체 데이터를 확보하기 위한 모니터-카메라 영상 시스템(MCIS)과 디스플레이 패턴 및 카메라 측정치로부터 실제적인 인식 함수(PSF)와 UDC 영상 데이터를 합성하는 모델 기반 파이프라인 개발.
• 흐림, 노이즈, 색상 이동과 같은 복합적이고 복합적인 UDC 영상 열화를 복원 기반 및 학습 기반 복원 방법을 모두 활용하여 해결하는 것.
• 얼굴 검출과 같은 실제 응용 작업에서의 복원 성능 평가 및 향후 연구를 지원하기 위해 첫 공개 UDC 데이터셋 배포.

제안 방법

• T-OLED 및 P-OLED 디스플레이 아래에서 촬영된 영상의 실제 쌍체 데이터를 확보하기 위해 모니터-카메라 영상 시스템(MCIS)을 설계하고 구현한다.
• 디스플레이 패턴과 카메라 측정치만을 사용하여 PSF와 열화된 UDC 영상 데이터를 생성하는 모델 기반의 데이터 합성 파이프라인을 개발하여 대규모 합성 데이터 생성을 가능하게 한다.
• 시스템의 광학 모델을 활용해 PSF를 반전함으로써 이미지를 복원하는 복원 기반 Wiener 필터 파이프라인(DeP)을 적용한다.
• 합성 데이터를 기반으로 U-Net 기반의 딥러닝 모델을 훈련시켜 종단 간 영상 복원을 수행함으로써 정밀도와 시각적 품질을 향상시킨다.
• 다이나믹 레인지 유지 및 고정밀 복원을 위해 훈련 및 평가에 16비트 레이어 센서 데이터를 사용한다.
• 불완전한 디스플레이 렌즈 정렬로 인해 발생하는 주기적 밴딩 아티팩트를 실데이터에서 관찰하였으며, 이를 합성 과정의 미세한 격차로 간주하고 향후 보완이 필요할 수 있음을 인식한다.

Figure 1 : The newly proposed imaging system named Under-Display Camera (UDC). We mount display screen on top of a traditional digital camera lens. The design brings new trend of full-screen devices.

실험 결과

연구 질문

• RQ1 인장형 카메라(UDC)의 광학 시스템은 영상 품질을 어떻게 열화시키며, 흐림, 노이즈, 색상 이동과 같은 주요 열화 요인은 무엇인가?
• RQ2 디스플레이 패턴과 카메라 측정치만으로도 모델 기반의 데이터 합성 파이프라인을 통해 실제적인 PSF와 열화된 UDC 영상 데이터를 정확히 생성할 수 있는가?
• RQ3 합성 데이터 기반의 복원 기반(Wiener 필터) 및 딥러닝 복원 방법을 융합한 하이브리드 복원 접근 방식은 실세계 UDC 영상 복원에 얼마나 효과적인가?
• RQ4 영상 복원은 UDC 시스템에서 얼굴 검출과 같은 후행 비전 작업에 얼마나 기여하는가?
• RQ5 현행 데이터 합성 기법은 디스플레이 격자 효과로 인한 주기적 밴딩과 같은 미세한 실세계 아티팩트를 얼마나 정확히 재현할 수 있는가?

주요 결과

• Wiener 필터 기반의 복원 기반 파이프라인(DeP)은 기본적인 영상 복원을 달성하며, UDC 열화에 대한 모델 기반 접근 방식의 가능성과 타당성을 입증한다.
• 합성 데이터를 기반으로 훈련된 학습 기반 모델은 높은 품질의 복원을 달성하며, 합성 데이터 훈련/실제 데이터 테스트 갭에도 불구하고 강력한 일반화 능력을 보임을 시사한다.
• 복원 후 얼굴 검출 재현율이 크게 향상됨: T-OLED 기준 8%에서 56%로, P-OLED 기준 0%에서 39%로 향상되어 후행 작업에 실질적인 영향을 미침을 보여줌.
• 합성 데이터는 시각적 특성에서 실데이터와 유사하며, 정성적 비교를 통해 인식 유사도가 확인됨.
• 실데이터에서는 관찰되지만 합성 데이터에서는 나타나지 않는 미세한 그러나 눈에 띄는 아티팩트—T-OLED의 픽셀 구조로 인한 주기적 밴딩—이 존재하여 현재 합성 정확도의 격차를 드러냄.
• 제안된 MCIS 시스템은 실질적인 쌍체 데이터 확보에 성공하였으며, 향후 연구를 지원하기 위해 첫 공개 UDC 데이터셋을 배포함.

(a)