[論文レビュー] Transform Domain Pyramidal Dilated Convolution Networks For Restoration of Under Display Camera Images

P. S. Hrishikesh, Densen Puthussery+2 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Image Processing Techniques参考文献 18被引用数 4

ひとこと要約

本論文は、ウェーブレットおよびDCTベースのデュアルドメインネットワーク内にピラミッド型畳み込みを用いた、2つの新しい深層学習アーキテクチャを提案する。これらは、アンダーディスプレイカメラ（UDC）画像の復元に特化しており、ECCV 2020 UDC画像復元チャレンジにおいて最先端の性能を達成した。P-OLED手法はトラック2で優勝し、T-OLED手法はPSNRおよびSSIMに基づき4位を獲得した。

ABSTRACT

Under-display camera (UDC) is a novel technology that can make digital imaging experience in handheld devices seamless by providing large screen-to-body ratio. UDC images are severely degraded owing to their positioning under a display screen. This work addresses the restoration of images degraded as a result of UDC imaging. Two different networks are proposed for the restoration of images taken with two types of UDC technologies. The first method uses a pyramidal dilated convolution within a wavelet decomposed convolutional neural network for pentile-organic LED (P-OLED) based display system. The second method employs pyramidal dilated convolution within a discrete cosine transform based dual domain network to restore images taken using a transparent-organic LED (T-OLED) based UDC system. The first method produced very good quality restored images and was the winning entry in European Conference on Computer Vision (ECCV) 2020 challenge on image restoration for Under-display Camera - Track 2 - P-OLED evaluated based on PSNR and SSIM. The second method scored fourth position in Track-1 (T-OLED) of the challenge evaluated based on the same metrics.

研究の動機と目的

• 現代のハンドヘルドデバイスにおけるアンダーディスプレイカメラ（UDC）システムに起因する深刻な画像劣化を是正すること。
• P-OLEDおよびT-OLEDの異なるディスプレイ技術に起因する独自の光学的歪みを示すUDC画像を復元すること。
• P-OLEDおよびT-OLED UDCシステムの特徴的な劣化パターンに特化した深層学習アーキテクチャを開発すること。
• ECCV 2020 UDC復元チャレンジで用いられる主な指標であるPSNRおよびSSIMに基づき、画像品質を向上させること。

提案手法

• P-OLED UDC画像復元のため、ピラミッド型畳み込みをウェーブレット分解に基づく畳み込みニューラルネットワークに統合する。
• T-OLED UDC画像復元のため、離散コサイン変換（DCT）と畳み込みニューラルネットワークを組み合わせたデュアルドメインフレームワークを適用する。
• ピラミッド型畳み込みによるマルチスケールの特徴抽出により、長距離依存性を捉え、微細なディテールを保持する。
• ウェーブレット分解を用いてスケールごとの画像特徴を分離し、サブバンドごとに的確な復元を可能にする。
• DCTベースのネットワークを空間領域および周波数領域の両方で動作させることで、テクスチャおよびエッジ回復を強化する。
• PSNRおよびSSIMを最適化するため、ペアドの実際のUDC画像とクリーンな参照画像を用いて、両ネットワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ピラミッド型畳み込みを組み込んだウェーブレットベースのネットワークは、高いPSNRおよびSSIMを達成することができるか？
• RQ2 DCTベースのデュアルドメインネットワークは、複雑な光学的歪みにさらされたT-OLED UDC画像を安定して復元できるか？
• RQ3 ピラミッド型畳み込みは、UDC画像処理における特徴表現および復元品質をどのように向上させるか？
• RQ4 標準化されたベンチマーク上での、2つの提案手法が異なるUDCディスプレイ技術において、それぞれどのように性能を発揮するか？

主な発見

• ウェーブレットベースのピラミッド型畳み込みネットワークは、ECCV 2020 UDC画像復元チャレンジのトラック2で最高のPSNRおよびSSIMスコアを記録し、優勝を達成した。
• ピラミッド型畳み込みを組み込んだDCTベースのデュアルドメインネットワークは、ECCV 2020チャレンジのT-OLED UDC画像復元におけるトラック1で4位を獲得した。
• ピラミッド型畳み込みの導入により、マルチスケール特徴学習が顕著に向上し、テクスチャおよびエッジの保持が改善された。
• ウェーブレット分解アプローチは劣化アーティファクトを効果的に分離し、サブバンドごとの的確な復元を可能にした。
• DCTベースのフレームワークは、T-OLED画像の周波数ドメインでのノイズ低減およびアーティファクト抑制において優れた性能を示した。
• 両手法とも、それぞれのUDCディスプレイタイプにおいてベースライン手法を上回る性能を発揮し、ドメイン特化型ネットワーク設計の有効性を裏付けた。