[論文レビュー] Self-Supervised Image Restoration with Blurry and Noisy Pairs

Zhilu Zhang, Rongjian Xu+3 more|arXiv (Cornell University)|Nov 14, 2022

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、ノイズの多い短時間露出画像とぼやけた長時間露出画像を併用することで、教師なし学習による画像復元を向上させるSelfIRを提案する。ノイズの多い画像を用いてぼかし除去を監視し、ぼやけた画像内のシャープな領域を用いてノイズ除去をガイドすることで、教師画像が不要な状態で協調学習を可能にし、合成データおよび実世界データの両方で最先端の性能を達成した。

ABSTRACT

When taking photos under an environment with insufficient light, the exposure time and the sensor gain usually require to be carefully chosen to obtain images with satisfying visual quality. For example, the images with high ISO usually have inescapable noise, while the long-exposure ones may be blurry due to camera shake or object motion. Existing solutions generally suggest to seek a balance between noise and blur, and learn denoising or deblurring models under either full- or self-supervision. However, the real-world training pairs are difficult to collect, and the self-supervised methods merely rely on blurry or noisy images are limited in performance. In this work, we tackle this problem by jointly leveraging the short-exposure noisy image and the long-exposure blurry image for better image restoration. Such setting is practically feasible due to that short-exposure and long-exposure images can be either acquired by two individual cameras or synthesized by a long burst of images. Moreover, the short-exposure images are hardly blurry, and the long-exposure ones have negligible noise. Their complementarity makes it feasible to learn restoration model in a self-supervised manner. Specifically, the noisy images can be used as the supervision information for deblurring, while the sharp areas in the blurry images can be utilized as the auxiliary supervision information for self-supervised denoising. By learning in a collaborative manner, the deblurring and denoising tasks in our method can benefit each other. Experiments on synthetic and real-world images show the effectiveness and practicality of the proposed method. Codes are available at https://github.com/cszhilu1998/SelfIR.

研究の動機と目的

• 高感度（ISO）設定によるノイズと長時間露出によるぼかしを引き起こす低照度画像復元の課題に対処すること。
• 単一の歪みのある画像に依存する既存の教師なし手法の限界を克服し、強力な監視が欠如している問題を解決すること。
• 短時間露出によるノイズの多い画像と長時間露出によるぼやけた画像の相補的性質を活用し、教師なし設定下で相互監視を可能にすること。
• 高価な教師データ収集を回避するため、デュアルカメラやバースト画像合成からの実世界データを扱える実用的なフレームワークを開発すること。
• ペア画像が持つ固有の構造を活用して、ノイズ除去とぼかし除去ネットワークを共同で学習させ、優れた復元性能を達成すること。

提案手法

• 別々のレンズで撮影された短時間露出画像（高ISO、ノイズが多いがシャープ）と長時間露出画像（低ISO、ぼやけているがノイズがほぼない）をペア入力として使用する。
• 分離されたレンズ間の空間的ずれを補正するため、光学フローに基づくアライメント（PWC-Netを用いて）を適用する。
• ぼやけた入力とノイズの多い入力からドメイン固有の特徴を抽出するため、二重エンコーダー・共有デコーダーのネットワークアーキテクチャを設計する。
• 教師データ監視と比較して性能低下を最小限に抑えるために、ノイズの多い画像をシャープネスの代理として用い、ぼかし除去を監視する。
• ぼやけた画像内の静的でシャープな領域を、教師なしノイズ除去のためのノイズのない監視信号として活用し、特徴学習を強化する。
• ノイズ除去とぼかし除去ネットワークが共有最適化を通じてお互いの監視信号から利益を得る協調学習戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 短時間露出によるノイズの多い画像と長時間露出によるぼやけた画像を併用することで、教師なし画像復元を効果的に実現できるか？
• RQ2 ペア画像におけるノイズとぼかしの相補的性質は、単一画像の教師なし監視と比較して、復元性能をどのように向上させるか？
• RQ3 教師データが存在しない状態で、ノイズの多い画像がぼかし除去のトレーニングにおける有効なシャープな画像の代理として機能できるか、その程度はどの程度か？
• RQ4 ぼやけた画像内のシャープな領域が、実世界のシナリオにおける教師なしノイズ除去の信頼できる補助監視信号として機能できるか？
• RQ5 提案された協調学習フレームワークは、合成データおよび実世界データの両方の画像復元タスクにおいて、既存の教師あり・教師なしベースラインを上回る性能を示せるか？

主な発見

• SelfIRは、ガウスノイズおよびポissonノイズを含む合成データセットにおいて、既存の教師なしノイズ除去手法を上回る最先端の性能を達成した。
• 実世界データにおいて、SelfIRはベースライン手法と比較して、より明確で写真のようにリアルな結果を生成し、シャープなテクスチャと優れた色再現性を実現した。
• 実世界の画像ペアにおける定性的な比較から、保険証の番号や細かいテクスチャなどの微細なディテールの復元に成功した。
• 長時間露出画像からのシャープな領域を補助監視に用いることで、特に複雑なノイズパターンにおいてもノイズ除去性能が顕著に向上した。
• 合成データにおける定量的評価では、一部の設定で教師ありベースラインを上回るPSNRおよびSSIMを達成しており、優れた一般化性能を示した。
• 二台のスマートフォンを用いた実世界のぼやけた-ノイズの多いペアの収集と光学フローによるアライメントを効果的に行うことで、実用的妥当性を示した。