[論文レビュー] "Double-DIP": Unsupervised Image Decomposition via Coupled Deep-Image-Priors

Yossi Gandelsman, Assaf Shocher+1 more|arXiv (Cornell University)|Dec 2, 2018

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、教師なしの統合フレームワークであるDouble-DIPを提案する。この手法は、2つの結合されたDeep-Image-Prior (DIP) ネットワークを用いて、学習データが一切不要な状態で、1枚の画像をより単純で統計的に異なる層に分解する。画像の局所的領域同士の内部自己類似性を活用し、マスクを介して2つのDIP生成器を同時に最適化することで、除霧、前景・背景セグメンテーション、透かしの除去、透過性分離の各タスクで最先端または競争力のある結果を達成しており、未学習の画像に対しても特化した手法を上回る性能を示している。

ABSTRACT

Many seemingly unrelated computer vision tasks can be viewed as a special case of image decomposition into separate layers. For example, image segmentation (separation into foreground and background layers); transparent layer separation (into reflection and transmission layers); Image dehazing (separation into a clear image and a haze map), and more. In this paper we propose a unified framework for unsupervised layer decomposition of a single image, based on coupled "Deep-image-Prior" (DIP) networks. It was shown [Ulyanov et al] that the structure of a single DIP generator network is sufficient to capture the low-level statistics of a single image. We show that coupling multiple such DIPs provides a powerful tool for decomposing images into their basic components, for a wide variety of applications. This capability stems from the fact that the internal statistics of a mixture of layers is more complex than the statistics of each of its individual components. We show the power of this approach for Image-Dehazing, Fg/Bg Segmentation, Watermark-Removal, Transparency Separation in images and video, and more. These capabilities are achieved in a totally unsupervised way, with no training examples other than the input image/video itself.

研究の動機と目的

• 除霧、セグメンテーション、透過性分離などの多様な画像分解タスクを、1つの教師なしフレームワークで統合すること。
• ラベル付きまたはペairedな学習データが一切ない状況下で、1枚の画像をその構成要素に分解する課題に対処すること。
• 画像の局所的領域の内部自己類似性を活用し、混合入力画像に比べて個々の層が統計的に単純であるという事実を応用すること。
• 除霧などの主要タスクにおいて、特化した最先端手法と同等または上回る性能を示す汎用的手法を開発すること。

提案手法

• 2つのDeep-Image-Prior (DIP) 生成器ネットワークを用い、入力画像を2つの別々の画像層から同時に再構築する。マスクがそれらの混合を制御する。
• 再構築を、再構築画像と入力画像のMSE損失を最小化する形で定式化する。再構築画像は2つのDIP出力のマスク付き和として得られる。
• 混合画像の内部パッチ分布は個々の成分よりも複雑であるという事実を活用し、DIPが自然に単純な層に分離されることを促進する。
• 大気質層に正則化損失を適用し、滑らかさと初期の大気質推定値への近接性を強制することで、非一様な霞の回復に不可欠な要因を確保する。
• マスクにラプラシアンベースの正則化を適用し、特に除霧において透過率マップが滑らかであるべきであるという点を強調する。
• 確率的勾配降下法を用いて、ペアデータやラベルデータが一切不要な状態で、2つのDIPをエンドツーエンドに同時に学習する。入力画像のみが監視信号として使用される。

実験結果

リサーチクエスチョン

• RQ1 単一の画像の内部統計のみを用いて、除霧、セグメンテーション、透過性分離などの多様な画像分解タスクを統合的かつ教師なしで分解可能か？
• RQ2 混合層と個別層の内部パッチの複雑さの違いを活用することで、複数のDIPネットワークを結合させることで、単一のDIPよりも優れた分解が可能か？
• RQ3 Double-DIPは、非一様な大気質マップを回復できるか？これにより、均一な大気質を仮定する手法が失敗するような状況（例：夜明け・夜暮れ）でも高品質な除霧が可能か？
• RQ4 Out-of-distributionな画像において、Double-DIPは特化した最先端の除霧手法と比べて、視覚的品質と頑健性に優れているか？
• RQ5 タスク固有の微調整やラベルデータなしで、このフレームワークは複数のタスクに一般化可能か？

主な発見

• O-HAZEデータセットにおいて、Double-DIPはPSNR 18.815を達成し、すべての除霧手法の中で2位にランクイン。未学習の画像においても、視覚的品質が最先端の手法を上回っている。
• Double-DIPは非一様な大気質マップを効果的に回復でき、均一な大気質を仮定する手法が失敗するような厳しい照明条件（例：夜明け・夜暮れ）でも高品質な除霧を実現している。
• NTIRE’2018のようなベンチマークの限られたテストセットに過学習する傾向がある特化型除霧ネットワークとは異なり、Double-DIPはOut-of-distributionな画像においても優れた性能を示しており、性能を上回っている。
• Double-DIPは、学習データが一切不要な状態で、前景・背景セグメンテーション、透かしの除去、透過性分離といった複数の教師なしタスクにおいても優れた性能を発揮している。
• 内部自己類似性とパッチの再現性を、結合されたDIPを介して効果的に活用することで、一貫したエンドツーエンドのアプローチで幅広い逆問題を解決できることが示された。
• 初期推定値に近い大気質層を維持する正則化項の追加により、特に色再現性とアーチファクト低減において、除霧品質が顕著に向上した。