[論文レビュー] Semi-parametric Image Inpainting

Karim Iskakov|arXiv (Cornell University)|Jul 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 12

ひとこと要約

本稿では、推論時に外部データベースから類似画像を補助入力として取り入れることで、深層ニューラルネットワークの性能を向上させる半パrametricな画像補完手法を提案する。コンテンツベース画像検索とUNetに類似したアーキテクチャを活用することで、特に不規則な穴に対して、先行研究よりもより現実的な結果を達成している。CelebA-HQデータセットと独自に作成した人間が描いたマスクデータセットを用いたユーザースタディおよび定量的指標により検証されている。

ABSTRACT

This paper introduces a semi-parametric approach to image inpainting for irregular holes. The nonparametric part consists of an external image database. During test time database is used to retrieve a supplementary image, similar to the input masked picture, and utilize it as auxiliary information for the deep neural network. Further, we propose a novel method of generating masks with irregular holes and present public dataset with such masks. Experiments on CelebA-HQ dataset show that our semi-parametric method yields more realistic results than previous approaches, which is confirmed by the user study.

研究の動機と目的

• 推論時に類似画像からの補助情報を取り入れることで、深層学習ベースの画像補完の現実性を向上させること。
• 既存手法がマスクされた入力にのみ依存し、外部の文脈を欠いているという制限を解消すること。
• より現実的な評価を行うために、人間がスチールで描いたストロークから生成された不規則なマスクの公開可能なデータセットを構築すること。
• 外部画像検索が、深層学習ベースの補完における視覚的品質を顕著に向上させることを実証すること。

提案手法

• 本手法は、マスク処理済み画像と外部データベースからの類似画像を入力とするUNetに類似した畳み込みニューラルネットワークを用いる。
• 類似画像は、VGG-16の特徴量を用いたコンテンツベース画像検索により取得され、意味的および構造的なガイダンスを提供する。
• ネットワークはL1損失、知覚的損失、敵対的損失を組み合わせたマルチスケール損失を採用し、現実性と詳細の忠実度を向上させる。
• ベクトル図からなるQuick, Draw! データセットを活用した、多様で人間らしい不規則なマスクを生成する新しいパイプラインを提案する。
• 本手法は、1つの（Sim-1）および0つの（Sim-0）補助画像を用いた評価を、TeleaおよびPConvベースラインと比較して実施する。
• 外部データベースは、非パrametricなメモリバンクとして機能し、類似画像から特徴をコピーして適応させる。

実験結果

リサーチクエスチョン

• RQ1 類似する外部画像の統合が、深層学習ベースの画像補完における現実性を顕著に向上させることができるか？
• RQ2 人間が生成した不規則なマスクを用いることで、規則的または合成されたマスクと比較してモデル性能にどのような影響を与えるか？
• RQ3 補助画像の検索が、補完領域における詳細の一貫性および構造的整合性をどの程度向上させるか？
• RQ4 半パrametric補完の失敗モードは何か。また、それらはトレーニングデータの多様性および損失設計とどのように関連しているか？

主な発見

• 提案手法であるSim-1は、ユーザースタディで51%の勝率を記録し、PConv（31%）および他のベースラインを顕著に上回った。
• Sim-1は、L1およびFID指標においてすべてのベースラインを上回り、特に穴の面積比が高い場合に顕著な改善を示した。
• 補助入力としてランダムまたはノイズ画像が与えられた場合、モデルは出力を変更したため、補助画像が生成に実際に影響を与えていることが確認された。
• 失敗事例にはぼやけた結果、現実的でない詳細（例：不自然な目）、一貫性のないメイクスタイルが含まれており、一般化能力およびトレーニングデータの多様性に制限があることが示された。
• 本手法はさまざまなマスク形状に対して頑健であり、大きな穴に対して性能向上を示した。これは、不規則な構造に対して強い一般化能力を示している。