[論文レビュー] Learning Invariant Representation for Unsupervised Image Restoration

Wenchao Du, Hu Chen+1 more|arXiv (Cornell University)|Mar 28, 2020

Advanced Image Processing Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、敵対的ドメイン適応と自己教師付き制約を用いてノイズとコンテンツ特徴を分離することで、ペアのないノイズあり・ノイズなし画像から不変表現を学習する非教師あり画像修復手法を提案する。本手法は、従来のドメイン適応手法と比較して、より高速かつ安定した収束を達成し、合成および実世界のノイズ除去の両面で最先端の性能を達成する。

ABSTRACT

Recently, cross domain transfer has been applied for unsupervised image restoration tasks. However, directly applying existing frameworks would lead to domain-shift problems in translated images due to lack of effective supervision. Instead, we propose an unsupervised learning method that explicitly learns invariant presentation from noisy data and reconstructs clear observations. To do so, we introduce discrete disentangling representation and adversarial domain adaption into general domain transfer framework, aided by extra self-supervised modules including background and semantic consistency constraints, learning robust representation under dual domain constraints, such as feature and image domains. Experiments on synthetic and real noise removal tasks show the proposed method achieves comparable performance with other state-of-the-art supervised and unsupervised methods, while having faster and stable convergence than other domain adaption methods.

研究の動機と目的

• ペアのない学習データが利用可能な非教師あり画像修復の課題に取り組むこと、特に実世界のノイズタイプに対して有効であることを目的とする。
• 従来の非教師ありドメイン変換手法におけるドメインシフトと一般化性能の低さを克服することを目的とする。
• 二重ドメイン制約（特徴ドメインおよび画像ドメイン）を用いて、ペアのないノイズありデータからロバストでノイズのない不変表現を学習することを目的とする。
• 背景一貫性やセマンティック一貫性などの自己教師付きモジュールを統合することで、視覚的品質と詳細の保持を向上させることを目的とする。
• 従来の非教師ありドメイン適応フレームワークと比較して、より高速かつ安定した学習収束を達成することを目的とする。

提案手法

• 汚損画像内のコンテンツとノイズ成分を分離するための離散的分離表現を導入する。
• 表現識別器を用いた敵対的ドメイン適応を適用し、特徴をクリーンドメインの分布に一致させる。
• 背景一貫性およびセマンティック一貫性制約を含む自己教師付きモジュールを統合し、表現学習をガイドする。
• 表現と再構成損失を同時に最適化することで、特徴レベルおよび画像レベルの二重ドメイン制約を強制する。
• 自己符号化器スタイルのエンコーダ、共有重みのジェネレータ、ドメイン識別器を組み合わせたエンドツーエンドの学習フレームワークを用いる。
• ペアのないクリーン・ノイズありデータを必要とせずに、分離された表現を用いてクリーン画像を再構成する。

実験結果

リサーチクエスチョン

• RQ1 不変表現学習は、ペアのない学習データが利用可能な非教師あり画像修復の性能を向上させ得るか？
• RQ2 分離された表現と自己教師付き制約は、ノイズあり画像修復における特徴のロバスト性をどのように向上させるか？
• RQ3 二重ドメイン制約を用いた敵対的ドメイン適応は、標準的なドメイン変換手法と比較して、より高速かつ安定した収束を達成するか？
• RQ4 提案手法は、合成されたガウスノイズにとどまらず、低線量CTアーチファクトを含む実世界のノイズタイプにも一般化可能か？
• RQ5 成分のアブレーション（例：敵対的損失や一貫性モジュールの削除）は、再構成品質と安定性にどのように影響するか？

主な発見

• 提案手法は、合成されたガウスノイズ除去において、最先端の教師ありおよび非教師あり手法と同等のPSNRおよびSSIMを達成する。
• 実世界の低線量CTノイズ除去において、BM3D、DIP、RedCNNと比較して視覚的品質が優れており、細部を保持し、アーチファクトを低減している。
• アブレーションスタディの結果、表現の敵対的ネットワークを削除すると、高周波成分領域にアーチファクトが生じることが判明し、特徴品質の向上にその重要性が示された。
• 背景一貫性制約を省略すると、明るさの不一致とぼやけた詳細が生じ、画像レベルの監視におけるその役割が強調された。
• 10万イテレーションにわたる訓練損失曲線から、DRNetや他のドメイン適応ベースラインと比較して、より高速かつ安定した収束を示した。
• BSD-68における定量的評価では、σ=25のガウスノイズに対してPSNRが30.12 dBを達成し、最先端の手法と同等の性能を示した。