[논문 리뷰] UDC 2020 Challenge on Image Restoration of Under-Display Camera: Methods and Results

Yuqian Zhou, Michael Kwan외 43명|arXiv (Cornell University)|2020. 08. 18.

Advanced Image Processing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 ECCV 2020에서 열린 최초의 언더디스플레이 캠(UDC) 이미지 복원 챌린지의 결과를 제시하며, 투명하고 펜틸 OLED 디스플레이로 인해 열악해진 이미지를 복원하기 위한 딥러닝 기반 방법을 평가한다. 특수 모듈을 갖춘 U-Net 및 잔차 밀도 네트워크를 사용하여 최신 기술 수준의 성능를 달성하였으며, 특히 T-OLED 및 P-OLED 디스플레이에서 PSNR 점수가 각각 26.6 초과 및 25.7 초과를 기록하여 뛰어난 성능를 보였다.

ABSTRACT

This paper is the report of the first Under-Display Camera (UDC) image restoration challenge in conjunction with the RLQ workshop at ECCV 2020. The challenge is based on a newly-collected database of Under-Display Camera. The challenge tracks correspond to two types of display: a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED). Along with about 150 teams registered the challenge, eight and nine teams submitted the results during the testing phase for each track. The results in the paper are state-of-the-art restoration performance of Under-Display Camera Restoration. Datasets and paper are available at https://yzhouas.github.io/projects/UDC/udc.html.

연구 동기 및 목표

• 현대의 풀스크린 기기에서 발생하는 블러, 노이즈, 저조도 등의 심각한 이미지 열악함을 해결하기 위한 목표.
• 4K 투명 OLED(T-OLED) 및 휴대폰 펜틸 OLED(P-OLED)라는 두 가지 다른 디스플레이 유형에서 딥러닝 기반 이미지 복원 방법을 평가하고 벤치마킹하기 위한 목표.
• UDC 복원을 위한 새로 수집된 열악한 이미지와 참값 이미지의 쌍으로 구성된 데이터셋을 기반으로 표준화된 벤치마크를 수립하기 위한 목표.
• 디스플레이 특화 열악함에 대응하기 위해 효과적인 아키텍처 및 구성요소(예: 그림자 보정, 웨이블릿 변환, 가이드 필터)를 식별하기 위한 목표.

제안 방법

• T-OLED 및 P-OLED 두 가지 디스플레이 유형을 사용한 이중 트랙 챌린지로, 1024×2048 해상도에서 훈련, 검증, 테스트 세트로 각각 240, 30, 30장의 쌍으로 구성된 이미지 데이터를 사용.
• 참가자들은 주로 수정된 U-Net 및 잔차 밀도 네트워크를 활용한 딥러닝 모델을 사용하였으며, 128×128 크기의 이미지 패치에서 엔드 투 엔드 학습을 수행.
• 특수 모듈이 도입되었으며, 특히 이미지 패치별로 학습된 계수를 적용하여 디스플레이 유도형 조명 비균일성을 보정하는 그림자 보정 모듈이 포함되었다.
• 일부 모델(예: CET_CVLab)에서는 웨이블릿 기반의 다운샘플링 및 업샘플링을 사용하여 P-OLED 이미지의 정보 손실을 줄이고 저조도 복원 성능을 향상시켰다.
• 일부 팀(예: CILab IITM, Image Lab)은 다단계 파이프라인을 사용하여 기울기 가능 가이드 필터와 점진적 정밀화를 통합하여 정밀도를 향상시켰다.
• 성능 향상을 위해 앙상블 전략, 데이터 증강, 정규화, 모델 깊이 등을 탐색하였으며, 일부 방법은 딥러닝과 전통적 이미지 처리 기법을 융합하였다.

실험 결과

연구 질문

• RQ1 U-Net 및 잔차 네트워크와 같은 표준 딥러닝 아키텍처가 다양한 OLED 유형에서 언더디스플레이 캠 시스템으로 인한 이미지 열악함을 얼마나 효과적으로 복원하는가?
• RQ2 그림자 보정, 웨이블릿 변환, 가이드 필터와 같은 특정 아키텍처 수정 사항이 T-OLED 및 P-OLED 디스플레이에서 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 시뮬레이션 데이터 기반 사전 학습된 모델이 실제 UDC 이미지 열악함에 대해 복원 성능을 얼마나 향상시킬 수 있는가?
• RQ4 조도 투과율 및 색상 이동 등의 다양한 디스플레이 특성이 복원 모델의 일반화 능력과 설계에 어떤 영향을 미치는가?
• RQ5 딥러닝과 전통적 이미지 처리 기법을 융합한 하이브리드 접근 방식이 순수 학습 기반 방법보다 UDC 복원에서 더 뛰어난 성능을 내는가?

주요 결과

• T-OLED 트랙에서 상위 성능를 기록한 방법은 PSNR 26.60을 달성하였으며, 기준 방법보다 뚜렷이 뛰어나고 잔차 밀도 네트워크를 사용한 직접 엔드 투 엔드 학습의 효과성을 입증하였다.
• P-OLED 트랙에서 우승한 방법(CET_CVLab)은 웨이블릿 기반 U-Net 아키텍처를 사용하여 PSNR 25.72를 기록하였으며, 이는 다운샘플링 과정에서의 정보 손실 감소와 저조도 복원 향상에 기여하였다.
• 그림자 보정(Baidu Research) 및 기울기 가능 가이드 필터(CILab IITM)와 같은 특수 모듈을 통합한 방법들은 표준 아키텍처 대비 측정 가능한 성능 향상을 보였다.
• T-OLED 작업은 조명 투과율 및 색상 이동 문제의 심각도가 낮아 P-OLED보다 더 쉽게 평가되었으며, 모든 방법에서 더 높은 PSNR 점수를 기록하였다.
• 추론 시간은 다양하게 변동하였으며, 일부 모델(예: CET_CVLab)은 고성능 GPU에서 1장당 0.044초의 속도를 기록하여 최적화를 통해 실시간 배포 가능성을 보였다.
• 앙상블 전략 및 점진적 정밀화(Image Lab, lyl 팀 등)는 성능 향상에 기여하였으며, 이는 복잡한 열악함에 대해 다단계 감시 및 반복적 정밀화가 효과적임을 시사한다.