[論文レビュー] UDC 2020 Challenge on Image Restoration of Under-Display Camera: Methods and Results

Yuqian Zhou, Michael Kwan+43 more|arXiv (Cornell University)|Aug 18, 2020

Advanced Image Processing Techniques参考文献 35被引用数 5

ひとこと要約

本論文は、ECCV 2020 で開催された初のアンダーディスプレイカメラ（UDC）画像修復チャレンジの結果を報告している。本チャレンジでは、透明でPentile OLEDディスプレイによって劣化した画像の修復を目的としたディーブラーニングベースの手法が評価された。特に、シェーディング補正、色補正、ウェーブレットベースの特徴抽出に特化したモジュールを備えたU-Netおよび残差畳み込みネットワークが、最先端の性能を達成した。T-OLEDおよびP-OLEDディスプレイにおいて、それぞれPSNRが26.6および25.7を超える優れた結果が得られた。

ABSTRACT

This paper is the report of the first Under-Display Camera (UDC) image restoration challenge in conjunction with the RLQ workshop at ECCV 2020. The challenge is based on a newly-collected database of Under-Display Camera. The challenge tracks correspond to two types of display: a 4k Transparent OLED (T-OLED) and a phone Pentile OLED (P-OLED). Along with about 150 teams registered the challenge, eight and nine teams submitted the results during the testing phase for each track. The results in the paper are state-of-the-art restoration performance of Under-Display Camera Restoration. Datasets and paper are available at https://yzhouas.github.io/projects/UDC/udc.html.

研究の動機と目的

• 現代のフルスクリーン端末におけるアンダーディスプレイカメラシステムに起因する、ぼやけやノイズ、低照度といった深刻な画像劣化を軽減すること。
• 4K透過OLED（T-OLED）およびスマホ用Pentile OLED（P-OLED）という2つの異なるディスプレイタイプに対して、ディープラーニングベースの画像修復手法を評価・ベンチマークすること。
• UDC修復のための標準化されたベンチマークを確立するため、劣化画像と正解画像のペアで構成される新規収集データセットを提供すること。
• ディスプレイ固有の劣化に寄与する有効なアーキテクチャやコンponents（シェーディング補正、ウェーブレット変換、ガイド付きフィルタなど）を同定すること。

提案手法

• T-OLEDおよびP-OLEDという2つのディスプレイタイプを用いた二重トラックのチャレンジが実施され、それぞれ240枚（学習用）、30枚（検証用）、30枚（テスト用）のペア画像が1024×2048解像度で提供された。
• 参加者は主に変更を加えたU-Netおよび残差畳み込みネットワークを用い、128×128ピクセルの画像パッチを用いたエンドツーエンドの訓練を実施した。
• 特に、各画像パッチごとに学習された係数を適用することで、ディスプレイに起因する照度非均一性を補正するシェーディング補正モジュールが導入された。
• 一部のモデル（例：CET_CVLab）では、P-OLED画像における光透過率の低さに起因する情報損失を低減する目的で、ウェーブレットベースのダウンサンプリングおよびアップサンプリングが採用された。
• 一部のチーム（例：CILab IITM、Image Lab）では、異なるiableガイド付きフィルタや段階的精錬を組み込んだマルチステージパイプラインが採用され、忠実度の向上が図られた。
• アンサンブル戦略、データオーグメンテーション、正規化、モデルの深さの最適化が検討され、一部の手法ではディープラーニングと従来の画像処理技術を組み合わせたハイブリッド手法が採用された。

実験結果

リサーチクエスチョン

• RQ1 U-Net や残差ネットワークといった標準的なディープラーニングアーキテクチャは、異なるOLEDタイプにおけるアンダーディスプレイカメラによる画像劣化の修復にどの程度効果的か？
• RQ2 シェーディング補正、ウェーブレット変換、ガイド付きフィルタといった特定のアーキテクチャ的改良は、T-OLEDおよびP-OLEDディスプレイにおける性能向上にどの程度寄与するか？
• RQ3 シミュレーテッドデータで事前学習されたモデルは、実世界のUDC画像劣化の修復性能をどの程度向上できるか？
• RQ4 光透過率や色ずれといった異なるディスプレイ特性は、修復モデルの汎化性能や設計にどの程度影響を及えるか？
• RQ5 ディープラーニングと古典的画像処理技術を組み合わせたハイブリッド手法は、純粋に学習された手法を上回る性能を発揮できるか？

主な発見

• T-OLEDトラックで最良の成績を収めた手法はPSNR 26.60を達成し、ベースライン手法を大きく上回り、残差畳み込みネットワークを用いたエンドツーエンド訓練の有効性が裏付けられた。
• P-OLEDトラックでは、CET_CVLabがウェーブレットベースのU-Netアーキテクチャを採用し、PSNR 25.72を達成。ダウンサンプリング時の情報損失を低減し、低照度回復性能が向上した。
• シェーディング補正（Baidu Research）や微分可能ガイド付きフィルタ（CILab IITM）といった専用モジュールを組み込んだ手法は、標準アーキテクチャに比べて顕著な性能向上を示した。
• T-OLEDタスクは、光透過率や色ずれの問題がやや軽微なため、P-OLEDに比べて容易であり、全手法で高いPSNRスコアが得られた。
• 推論時間は大きくばらつきを示し、一部のモデル（例：CET_CVLab）では高スペックGPUで1枚あたり0.044秒の処理速度を達成しており、最適化によりリアルタイム実装が可能である可能性が示された。
• アンサンブル戦略や段階的精錬（例：Image Lab、lylチーム）は性能向上に寄与し、複雑な劣化に対して多段階の監視と反復的精錬が有効であることが示された。