[論文レビュー] StructureFlow: Image Inpainting via Structure-aware Appearance Flow

Yurui Ren, Xiaoming Yu+4 more|arXiv (Cornell University)|Aug 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 56

ひとこと要約

StructureFlow は画像のインペインティングを構造再構成とテクスチャ生成に分割し、エッジを保持した滑らかな画像をグローバルな構造のガイダンスとして、再構築された構造に導かれたテクスチャ合成のための Gaussian sampling を伴う appearance flow を用いる。

ABSTRACT

Image inpainting techniques have shown significant improvements by using deep neural networks recently. However, most of them may either fail to reconstruct reasonable structures or restore fine-grained textures. In order to solve this problem, in this paper, we propose a two-stage model which splits the inpainting task into two parts: structure reconstruction and texture generation. In the first stage, edge-preserved smooth images are employed to train a structure reconstructor which completes the missing structures of the inputs. In the second stage, based on the reconstructed structures, a texture generator using appearance flow is designed to yield image details. Experiments on multiple publicly available datasets show the superior performance of the proposed network.

研究の動機と目的

• エッジを保持した滑らかな画像を構造のガイダンスとして用いることで、インペインティングにおけるグローバルな構造回復を改善する。
• 類似の構造を持つ領域から特徴をサンプリングして、鮮明なテクスチャ合成を実現する。
• Gaussian sampling とサンプリング正解性損失を用いて appearance flow の訓練を安定化させる。
• 多様なデータセットで有効性を示し、構成要素を検証するためのアブレーションを分析する。

提案手法

• 構造再構成器 Gs とテクスチャ生成器 Gt を持つ二段階アーキテクチャ。
• 構造再構成器は Se をガイダンスとしてエッジを保持した滑らかな画像を使用し、Sgt へ L1 損失を最小化するとともに adversarial training を用いる。
• テクスチャ生成器は再構築された構造に基づき、appearance flow を用いて既存領域から特徴をワープ・サンプリングし、サンプリング正解性損失を補助として利用する。
• Gaussian sampling が appearance flow の二次補間サンプリングを置換し、受容野を広げる。
• 訓練には L1、adversarial、サンプリング正解性損失項を含み、段階的な事前訓練とその後のファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 エッジを保持した滑らかな構造は、インペインティングのためのグローバルな構造再構成を効果的に導くことができるか？
• RQ2 Gaussian sampling を用いてガイドされた appearance flow によるテクスチャ生成は、より現実的なテクスチャと一貫した構造を生み出すか？
• RQ3 構造ガイダンス、flow sampling、損失項のアブレーションは、多様なデータセットでインペインティングの品質にどのように影響するか？

主な発見

• StructureFlow は Places2 において CA、EdgeConnect、PConv と比較して競争力のある PSNR、SSIM、FID を達成する。
• 主観的なユーザー調査は、構造的に高度に整ったシーン（Celeba と Paris）で StructureFlow が競合他社を上回ることを示し、Places2 でも競争力を保つ。
• アブレーションでは構造再構成器を含めると性能が向上することが示される；平滑化の程度が小さすぎるまたは大きすぎると結果が劣化する（sigma）。Gaussian sampling を用いた appearance flow と sampling-correctness loss により、テクスチャのリアリズムと流れの安定性が向上する。
• Gaussian sampling は appearance flow の受容野を拡張し、勾配伝播の不良を緩和し、長距離特徴のマッチングを可能にする。
• sampling-correctness loss は VGG フィーチャーコサイン類似度に基づき、意味的に関連する領域へのサンプリングを制約するのに役立つ。