[論文レビュー] Semantic-aware Image Deblurring

Fuhai Chen, Rongrong Ji+7 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Image Processing Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、画像キャプションから得られる意味的ガイダンスを活用して重度にぼやけた画像の復元を向上させる、S3E-Deblurと呼ばれる新しいエンドツーエンドフレームワークを提案する。構造的空間的意味的木（S3木）を導入し、GANベースの復元生成器に構造的意味特徴（エンティティと関係）を統合することで、MSCOCOおよびGoProデータセットからの重度のぼやけた画像において、両方のタスクで最先端の性能を達成した。

ABSTRACT

Image deblurring has achieved exciting progress in recent years. However, traditional methods fail to deblur severely blurred images, where semantic contents appears ambiguously. In this paper, we conduct image deblurring guided by the semantic contents inferred from image captioning. Specially, we propose a novel Structured-Spatial Semantic Embedding model for image deblurring (termed S3E-Deblur), which introduces a novel Structured-Spatial Semantic tree model (S3-tree) to bridge two basic tasks in computer vision: image deblurring (ImD) and image captioning (ImC). In particular, S3-tree captures and represents the semantic contents in structured spatial features in ImC, and then embeds the spatial features of the tree nodes into GAN based ImD. Co-training on S3-tree, ImC, and ImD is conducted to optimize the overall model in a multi-task end-to-end manner. Extensive experiments on severely blurred MSCOCO and GoPro datasets demonstrate the significant superiority of S3E-Deblur compared to the state-of-the-arts on both ImD and ImC tasks.

研究の動機と目的

• 意味的コンテンツが曖昧で、従来の手法が失敗する重度のぼやけた画像の復元という課題に対処すること。
• 共通の意味的表現を用いて、画像復元（ImD）と画像キャプション（ImC）を統合的に最適化することで、両者の分野を橋渡しすること。
• ぼやけた画像内のエンティティと関係を効果的に捉え、表現する、構造的かつ空間的に注意を向ける意味的埋め込みモデルを開発すること。
• エンドツーエンドの学習中に言語ベースの意味的事前知識を活用することで、復元画像の耐性と品質を向上させること。
• 今後の研究を支援するため、重度のぼやけた画像の公開可能な最初のデータセットを提供すること。

提案手法

• ぼやけた画像の深層特徴から意味的コンテンツ（エンティティと関係）を解析・表現するため、構造的空間的意味的木（S3木）を提案する。
• S3木構造内でのエンティティ特徴マップと関係特徴の集約のため、畳み込み分離（convolutional decoupling）と畳み込み結合（convolutional combining）を適用する。
• S3木のノードの空間的特徴マップを、GANベースの画像復元ネットワークの生成器に埋め込み、再構築性能を向上させる。
• 画像キャプション分岐のRNNデコーダーに予測された意味的確率分布（エンティティ／関係）を注目させ、キャプション品質を向上させる。
• 再構築損失、 adversarial 損失、分類損失の共同最適化を用いて、S3木、画像キャプション、画像復元分岐をエンドツーエンドで共同学習する。
• 両方の分岐（復元・キャプション）のための深層特徴抽出に共通のCNNバックボーンを用い、タスク間での特徴共有を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像キャプションからの意味的ガイダンスが、重度にぼやけた画像の復元品質を顕著に向上させることができるか？
• RQ2 構造的意味的木モデル（S3木）が、重度にぼやけた画像における曖昧な意味的コンテンツを効果的に捉え、表現できるか？
• RQ3 画像復元と画像キャプションの間でマルチタスク学習を共同で行うことで、単一タスクのベースラインと比較して両タスクの性能が向上するか？
• RQ4 提案されたS3木モデルは、GoProデータセットのような複雑な運動ぼやけを含む現実世界のぼやけた画像に一般化可能か？
• RQ5 意味的埋め込みを用いたエンドツーエンドの共同学習が、復元出力におけるアーティファクトの低減と構造的忠実性の向上に与える影響は何か？

主な発見

• S3E-Deblurは、MSCOCOのSev-BlurDataサブセットにおいて、DeblurGANおよびU-Deconvを上回る最先端の性能を両方のタスクで達成した。
• 重度にぼやけたGoProデータセットでは、S3E-DeblurはPSNR 29.12、SSIM 0.878を達成し、DeblurGAN（PSNR: 27.89、SSIM: 0.842）およびU-Deconv（PSNR: 28.15、SSIM: 0.851）を顕著に上回った。
• 画像キャプション分岐を共同で学習させたS3E-Deblurのバージョンは、事前学習済みS3木を用いたバージョンよりも優れた復元結果を示し、共同最適化の利点を裏付けた。
• 定性的な結果から、S3E-Deblurは小形・遠方の物体（例：画像内の羽）のアーティファクトを効果的に低減しており、構造的保存性の向上が確認された。
• S3木モデルは、上位3つの意味的カテゴリを高い信頼性で正確に予測しており、その空間的特徴マップは顕著な画像領域とよく一致しており、効果的な意味的局在化が実現されていることを確認した。
• 画像キャプションタスクにおいて、S3E-Deblur（ImC）は、特に重度にぼやけた画像において、ほとんどの指標で最高の性能を示し、優れた意味的理解能力を示した。