[论文解读] Image Restoration for Under-Display Camera

Yuqian Zhou, David Ren+3 more|arXiv (Cornell University)|Mar 10, 2020

Image and Video Quality Assessment参考文献 43被引用 11

一句话总结

本文将屏下摄像头（UDC）作为由显示屏集成引起的光学退化导致的新图像复原问题提出。提出了一种结合基于模型的去卷积流程（维纳滤波）与基于学习的方法，利用合成数据，实现了实时、高质量的图像复原，并在人脸检测等下游任务中显著提升性能。

ABSTRACT

The new trend of full-screen devices encourages us to position a camera behind a screen. Removing the bezel and centralizing the camera under the screen brings larger display-to-body ratio and enhances eye contact in video chat, but also causes image degradation. In this paper, we focus on a newly-defined Under-Display Camera (UDC), as a novel real-world single image restoration problem. First, we take a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED) and analyze their optical systems to understand the degradation. Second, we design a Monitor-Camera Imaging System (MCIS) for easier real pair data acquisition, and a model-based data synthesizing pipeline to generate Point Spread Function (PSF) and UDC data only from display pattern and camera measurements. Finally, we resolve the complicated degradation using deconvolution-based pipeline and learning-based methods. Our model demonstrates a real-time high-quality restoration. The presented methods and results reveal the promising research values and directions of UDC.

研究动机与目标

• 将屏下摄像头（UDC）系统定义并分析为一种由显示屏集成引起的新型现实世界图像复原问题。
• 设计并实现一种监控-摄像头成像系统（MCIS），用于采集真实配对数据，并开发基于模型的流程，仅利用显示屏图案和摄像头测量值生成逼真的点扩散函数（PSF）与UDC图像数据。
• 结合使用基于去卷积与基于学习的复原方法，解决UDC图像中复杂的复合退化问题，如模糊、噪声与色彩偏移。
• 在真实世界任务（如人脸检测）中评估复原性能，并发布首个公开的UDC数据集以支持未来研究。

提出的方法

• 设计并实现监控-摄像头成像系统（MCIS），用于捕获在T-OLED与P-OLED显示屏下拍摄的真实配对图像数据。
• 开发基于模型的数据合成流程，仅利用显示屏图案与摄像头测量值生成PSF与退化UDC图像，实现大规模合成数据生成。
• 应用基于去卷积的维纳滤波器流程（DeP），通过反演PSF实现图像复原，利用系统的光学模型。
• 在合成数据上训练基于U-Net的深度学习模型，实现端到端图像复原，提升保真度与视觉质量。
• 使用16位原始传感器数据进行训练与评估，以保留动态范围并实现高保真复原。
• 识别并处理真实数据中由显示屏-镜头对齐不完美引起的周期性条带伪影，承认这是当前合成中的一处微小缺陷，未来可能需要进一步优化。

Figure 1 : The newly proposed imaging system named Under-Display Camera (UDC). We mount display screen on top of a traditional digital camera lens. The design brings new trend of full-screen devices.

实验结果

研究问题

• RQ1 屏下摄像头（UDC）的光学系统如何导致图像质量下降？其主要退化因素（如模糊、噪声与色彩偏移）是什么？
• RQ2 基于模型的数据合成流程是否能仅凭显示屏图案与摄像头测量值准确生成逼真的PSF与退化UDC图像？
• RQ3 结合去卷积（维纳滤波）与基于学习的复原方法在合成数据上的混合复原方法，在真实世界UDC图像复原中效果如何？
• RQ4 图像复原在多大程度上提升了人脸检测等下游视觉任务的性能？
• RQ5 当前数据合成在复现细微真实世界伪影（如显示屏光栅效应引起的周期性条带）方面存在哪些局限性？

主要发现

• 基于维纳滤波的去卷积流程（DeP）实现了基本的图像复原，证明了基于模型的方法在UDC退化问题上的可行性。
• 在合成数据上训练的基于学习的模型实现了高质量复原，表明其在合成数据训练/真实数据测试的差距下仍具备强大的泛化能力。
• 复原后的人脸检测召回率显著提升：T-OLED从8%提升至56%，P-OLED从0%提升至39%，显示出对下游任务的实际影响。
• 合成数据在视觉特征上与真实数据高度一致，经定性比较确认了感知相似性。
• 在真实数据中观察到一种微小但明显的伪影——T-OLED像素结构引起的周期性条带，而合成数据中未复现，凸显了当前合成精度的不足。
• 所提出的MCIS系统成功实现了真实配对数据的采集，首个公开的UDC数据集已发布，以支持未来研究。

(a)