[論文レビュー] Image Restoration for Under-Display Camera

Yuqian Zhou, David Ren+3 more|arXiv (Cornell University)|Mar 10, 2020

Image and Video Quality Assessment参考文献 43被引用数 11

ひとこと要約

本稿では、ディスプレイ下にカメラを配置することによる光学的劣化によって生じる新しい画像復元問題として、Under-Display Camera (UDC) を提案する。モデルベースの復元パイプライン（ウィーナー・フィルタ）と合成データを用いた学習ベース手法を組み合わせたハイブリッドアプローチを提案し、リアルタイムかつ高品質な画像復元を達成するとともに、顔検出のような下流タスクにおいて顕著な改善を示した。

ABSTRACT

The new trend of full-screen devices encourages us to position a camera behind a screen. Removing the bezel and centralizing the camera under the screen brings larger display-to-body ratio and enhances eye contact in video chat, but also causes image degradation. In this paper, we focus on a newly-defined Under-Display Camera (UDC), as a novel real-world single image restoration problem. First, we take a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED) and analyze their optical systems to understand the degradation. Second, we design a Monitor-Camera Imaging System (MCIS) for easier real pair data acquisition, and a model-based data synthesizing pipeline to generate Point Spread Function (PSF) and UDC data only from display pattern and camera measurements. Finally, we resolve the complicated degradation using deconvolution-based pipeline and learning-based methods. Our model demonstrates a real-time high-quality restoration. The presented methods and results reveal the promising research values and directions of UDC.

研究の動機と目的

• ディスプレイ統合に起因する光学的劣化によって生じる実世界の画像復元問題として、Under-Display Camera (UDC) システムを定義・分析すること。
• 実際のペアデータを取得するためのモニターカメライメージングシステム (MCIS) を開発し、ディスプレイパターンとカメラ測定値から、現実的な点拡散関数 (PSF) および UDC 画像データを合成するモデルベースのパイプラインを構築すること。
• ぼかし、ノイズ、色ずれといった複合的な劣化要因を、復元のための復元ベースと学習ベースの両手法を用いて効果的に処理すること。
• 顔検出を含む実世界のタスクにおける復元性能を評価し、今後の研究を支援するための最初の公開 UDC データセットをリリースすること。

提案手法

• T-OLED および P-OLED ディスプレイ下で撮影された画像の実際のペアデータを収集するため、モニターカメライメージングシステム (MCIS) を設計・実装すること。
• ディスプレイパターンとカメラ測定値のみを用いて、PSF および劣化した UDC 画像を生成するモデルベースのデータ合成パイプラインを開発し、大規模な合成データの生成を可能にすること。
• 光学モデルを活用して PSF を逆転することで画像を復元する、復元ベースのウィーナー・フィルタパイプライン (DeP) を適用すること。
• 合成データ上で U-Net を用いた深層学習モデルを訓練し、エンドツーエンドの画像復元を実現し、忠実度と視覚的品質を向上させること。
• ダイナミックレンジを保持し、高忠実度の復元を可能にするために、学習および評価に 16 ビットの RAW センサデータを用いること。
• 不完全なディスプレイレンズのアライメントに起因する周期的バンド状アーチファクトを、実データで観察したが、これは合成におけるわずかな欠落であり、今後の改善の余地があると認識していること。

Figure 1 : The newly proposed imaging system named Under-Display Camera (UDC). We mount display screen on top of a traditional digital camera lens. The design brings new trend of full-screen devices.

実験結果

リサーチクエスチョン

• RQ1 Under-Display Camera (UDC) の光学系は、ぼかし、ノイズ、色ずれといった要因によって、どのように画像品質を劣化させるのか。
• RQ2 ディスプレイパターンとカメラ測定値のみを用いて、モデルベースのデータ合成パイプラインが、現実的で正確な PSF および劣化 UDC 画像を生成できるか。
• RQ3 合成データ上で学習した復元ベース（ウィーナー・フィルタ）と深層学習を組み合わせたハイブリッド復元アプローチは、実世界の UDC 画像復元においてどれほど有効か。
• RQ4 画像復元は、UDC システムにおける顔検出のような下流ビジョンタスクをどの程度向上させるか。
• RQ5 現在のデータ合成は、ディスプレイグレーティング効果に起因する周期的バンド状アーチファクトのような微細な現実世界のアーチファクトをどれだけ正確に再現できるか。

主な発見

• ウィーナー・フィルタに基づく復元ベースパイプライン (DeP) は、基本的な画像復元を達成し、UDC 劣化に対するモデルベース手法の実現可能性を示した。
• 合成データで訓練した学習ベースのモデルは、高い品質の復元を達成しており、合成データ／実データギャップが存在するにもかかわらず、強力な一般化能力を示した。
• 復元後、顔検出のリCALLレートが顕著に向上した：T-OLED では 8% から 56%、P-OLED では 0% から 39% に向上し、下流タスクに実用的影響を与えた。
• 合成データは視覚的特性において実データに近く、定性的な比較で知覚的類似性が確認された。
• T-OLED のピクセル構造に起因する周期的バンド状アーチファクトは、実データに顕著に観察されたが、合成データには確認されず、現在の合成精度におけるわずかなギャップを示した。
• 提案された MCIS システムにより、実際のペアデータ収集が成功した。今後の研究を支援するため、最初の公開 UDC データセットをリリースした。

(a)