[論文レビュー] Unsupervised Domain-Specific Deblurring via Disentangled Representations

Boyu Lu, Jun-Cheng Chen+1 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Image Processing Techniques参考文献 42被引用数 15

ひとこと要約

本稿では、ぼかし画像内のコンテンツとぼかし特徴を分離するための分離表現を用いた、教師なしドメイン特化型のぼかし除去手法を提案する。ぼかし特徴にKLダイバージェンス損失を適用し、サイクル整合性と adversarial 損失を用いることで、ペaired学習データが存在しない状況でも、顔およびテキストのぼかし除去において最先端の性能を達成し、従来の教師なし手法に比べて視覚的品質と意味的回復性能が顕著に向上した。

ABSTRACT

Image deblurring aims to restore the latent sharp images from the corresponding blurred ones. In this paper, we present an unsupervised method for domain-specific single-image deblurring based on disentangled representations. The disentanglement is achieved by splitting the content and blur features in a blurred image using content encoders and blur encoders. We enforce a KL divergence loss to regularize the distribution range of extracted blur attributes such that little content information is contained. Meanwhile, to handle the unpaired training data, a blurring branch and the cycle-consistency loss are added to guarantee that the content structures of the deblurred results match the original images. We also add an adversarial loss on deblurred results to generate visually realistic images and a perceptual loss to further mitigate the artifacts. We perform extensive experiments on the tasks of face and text deblurring using both synthetic datasets and real images, and achieve improved results compared to recent state-of-the-art deblurring methods.

研究の動機と目的

• ペaired学習データが利用できない教師なしドメイン特化型画像のぼかし除去の課題に対処すること。
• 一般的なぼかし除去事前知識ではうまく処理できない顔やテキストなどの特殊ドメインにおけるぼかし除去性能を向上させること。
• コンテンツ情報の漏れを防ぐために、ぼかし属性をコンテンツ特徴から分離すること。
• サイクル整合性と知覚正則化を用いて構造的コンテンツを保持し、アーチファクトのない現実的なぼかし除去画像を生成すること。
• 顔認証やOCRといった下流タスクでの評価を通じて、意味的情報の回復を検証すること。

提案手法

• ぼやけた画像およびシャープな画像のための別個のコンテンツエンコーダーを用い、最後の層で共有重みを用いて特徴を共通空間に投影する。
• ぼかしエンコーダーはぼやけた画像からぼかし属性を抽出し、その分布を制約するためKLダイバージェンス損失を適用する。
• ぼかし除去ジェネレータはコンテンツおよびぼかし特徴を条件としてシャープな画像を再構築する。一方、ぼやけた画像をシャープな画像から再構築するぼやけたジェネレータも用いる。
• 両ドメイン間で元の画像と再構築画像の間のサイクル整合性損失を適用し、コンテンツ構造を保持する。
• ぼかし除去およびぼやけた出力の両方に対して adversarial 損失を適用し、リアルさを向上させ、アーチファクトを低減するため知覚損失を適用する。
• 二つのドメインから得られるペアでないデータを用いて、教師なしでエンドツーエンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 分離表現学習は、ペaired学習データが存在しない状況でも、教師なしドメイン特化型ぼかし除去の性能を向上させることができるか？
• RQ2 KLダイバージェンス正則化は、ぼかし特徴がコンテンツ情報を符号化しないように効果的に制御できるか？
• RQ3 サイクル整合性と adversarial 損失が、ぼかし除去出力のコンテンツ構造の保持とリアルさの向上を同時に達成できるか？
• RQ4 実世界の顔およびテキストのぼかし除去において、本手法は最先端の教師なしおよび教師あり手法に比べてどの程度優れているか？
• RQ5 顔認証およびOCR精度という指標で測定した場合、ぼかし除去出力が意味的コンテンツをどの程度保持しているか？

主な発見

• 提案手法は顔のぼかし除去において競争力のある性能を達成し、視覚的品質および構造的保持性においてCycleGANや一般的なCNNベースの手法を上回った。
• BMVC_Textデータセットでは、教師ありの最先端手法と同等のOCR誤り率を達成したが、本手法は教師なしである。
• モデルは背景のシャープなテクスチャおよび顔の細部を効果的に回復し、Deep Semantic Face Deblurringのような手法で見られる過剰に滑らかになる現象を回避した。
• 実際のぼやけたテキスト画像において、本手法は大部分のテキスト内容を正しく回復した。CycleGAN や従来手法が青色のアーチファクトを生成したり、読み取り可能なテキストを復元できなかったのに対し、本手法は優れた性能を示した。
• アブレーションスタディの結果、KL損失、サイクル整合性損失、adversarial 損失、知覚損失の各要素が性能向上に顕著な寄与をしていることが確認された。
• 本手法は実世界の画像に対しても強く一般化でき、顔およびテキストのぼかし除去の両タスクで視覚的に妥当な結果を示した。