[논문 리뷰] Transform Domain Pyramidal Dilated Convolution Networks For Restoration of Under Display Camera Images

P. S. Hrishikesh, Densen Puthussery외 2명|arXiv (Cornell University)|2020. 09. 20.

Advanced Image Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 웨이블릿 및 DCT 기반 双-도메인 네트워크 내에서 피라미드형 확장 컨볼루션을 사용하는 두 가지 새로운 딥러닝 아키텍처를 제안한다. 이는 하단에 카메라가 내장된 디스플레이(UDC) 이미지 복원을 위한 것으로, ECCV 2020 UDC 이미지 복원 경연 대회에서 최고 성능을 기록하였다. P-OLED 방법은 트랙 2에서 우승하였고, T-OLED 방법은 PSNR 및 SSIM 기준으로 4위를 기록하였다.

ABSTRACT

Under-display camera (UDC) is a novel technology that can make digital imaging experience in handheld devices seamless by providing large screen-to-body ratio. UDC images are severely degraded owing to their positioning under a display screen. This work addresses the restoration of images degraded as a result of UDC imaging. Two different networks are proposed for the restoration of images taken with two types of UDC technologies. The first method uses a pyramidal dilated convolution within a wavelet decomposed convolutional neural network for pentile-organic LED (P-OLED) based display system. The second method employs pyramidal dilated convolution within a discrete cosine transform based dual domain network to restore images taken using a transparent-organic LED (T-OLED) based UDC system. The first method produced very good quality restored images and was the winning entry in European Conference on Computer Vision (ECCV) 2020 challenge on image restoration for Under-display Camera - Track 2 - P-OLED evaluated based on PSNR and SSIM. The second method scored fourth position in Track-1 (T-OLED) of the challenge evaluated based on the same metrics.

연구 동기 및 목표

• 현대 휴대형 기기에서 하단에 카메라가 내장된 디스플레이(UDC) 시스템으로 인한 심각한 이미지 품질 저하 문제를 해결한다.
• P-OLED 및 T-OLED와 같은 다양한 디스플레이 기술로 촬영된 UDC 이미지를 복원한다. 각각 고유한 광학 왜곡을 유발한다.
• P-OLED 및 T-OLED UDC 시스템의 고유한 저하 패턴에 맞춰 특화된 딥러닝 아키텍처를 개발한다.
• ECCV 2020 UDC 복원 경연에서 사용된 주요 평가 지표인 PSNR 및 SSIM 기준으로 이미지 품질을 향상시킨다.

제안 방법

• P-OLED UDC 이미지 복원을 위해 웨이블릿 분해 기반 컨볼루션 신경망에 피라미드형 확장 컨볼루션을 통합한다.
• T-OLED UDC 이미지 복원을 위해 이산余弦변환(DCT)과 컨볼루션 신경망을 융합한 이중-도메인 프레임워크를 적용한다.
• 피라미드형 확장 컨볼루션을 활용해 다중 척도의 특징을 추출하여 장거리 의존성과 세부 정보 유지 능력을 향상시킨다.
• 웨이블릿 분해를 통해 다양한 척도의 이미지 특징을 분리하여 하위 대역에서의 정밀한 복원을 가능하게 한다.
• DCT 기반 네트워크를 공간 도메인과 주파수 도메인 양쪽에서 작동하도록 설계하여 질감 및 에지 복원 능력을 향상시킨다.
• 모든 네트워크를 PSNR 및 SSIM 최적화를 위해 실제 UDC 이미지와 정제된 기준 이미지의 쌍을 사용해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 피라미드형 확장 컨볼루션을 갖춘 웨이블릿 기반 네트워크는 높은 PSNR 및 SSIM를 기록할 수 있을까?
• RQ2 DCT 기반 이중-도메인 네트워크는 복잡한 광학 왜곡 조건에서도 T-OLED UDC 이미지를 안정적으로 복원할 수 있을까?
• RQ3 피라미드형 확장 컨볼루션은 UDC 이미지 처리에서 특징 표현 및 복원 품질을 어떻게 향상시키는가?
• RQ4 표준화된 벤치마크에서 두 가지 제안된 방법은 서로 다른 UDC 디스플레이 기술에 대해 비교적으로 어떤 성능을 보일까?

주요 결과

• 웨이블릿 기반 피라미드형 확장 컨볼루션 네트워크는 ECCV 2020 UDC 이미지 복원 경연 트랙 2에서 최고의 PSNR 및 SSIM 점수를 기록하여 우승을 차지하였다.
• 피라미드형 확장 컨볼루션을 적용한 DCT 기반 이중-도메인 네트워크는 T-OLED UDC 이미지 복원 분야에서 ECCV 2020 경연 트랙 1에서 4위를 기록하였다.
• 피라미드형 확장 컨볼루션의 사용은 다중 척도 특징 학습 능력을 크게 향상시켜 질감 및 에지 유지 능력을 향상시켰다.
• 웨이블릿 분해 방법은 저하 아티팩트를 효과적으로 분리하여 하위 대역에서 보다 정밀한 복원을 가능하게 하였다.
• DCT 기반 프레임워크는 T-OLED 이미지의 주파수 도메인 노이즈 제거 및 아티팩트 억제 능력에서 뛰어난 성능을 보였다.
• 두 방법 모두 각각의 UDC 디스플레이 유형에서 베이스라인 방법보다 뛰어난 성능을 기록하여 도메인 특화 네트워크 설계의 효과성을 입증하였다.