[論文レビュー] Deep Inception Generative Network for Cognitive Image Inpainting

Qingguo Xiao, Guangyao Li+1 more|arXiv (Cornell University)|Dec 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 8

ひとこと要約

本稿では、多様な受容 field を有するインセプションモジュールを活用して高レベル特徴表現を向上させ、アーティファクトを低減することで認知的画像補完を向上させる Deep Inception Generative Network を提案する。多様なランダムマスク生成手法とカスタムマスクデータセットを導入することで、ImageNet、Places2、CelebA-HQ における通常、不規則、自由形式の補完タスクで最先端の性能を達成し、従来手法よりも自然で文脈的に整合性のある結果を生成する。

ABSTRACT

Recent advances in deep learning have shown exciting promise in filling large holes and lead to another orientation for image inpainting. However, existing learning-based methods often create artifacts and fallacious textures because of insufficient cognition understanding. Previous generative networks are limited with single receptive type and give up pooling in consideration of detail sharpness. Human cognition is constant regardless of the target attribute. As multiple receptive fields improve the ability of abstract image characterization and pooling can keep feature invariant, specifically, deep inception learning is adopted to promote high-level feature representation and enhance model learning capacity for local patches. Moreover, approaches for generating diverse mask images are introduced and a random mask dataset is created. We benchmark our methods on ImageNet, Places2 dataset, and CelebA-HQ. Experiments for regular, irregular, and custom regions completion are all performed and free-style image inpainting is also presented. Quantitative comparisons with previous state-of-the-art methods show that ours obtain much more natural image completions.

研究の動機と目的

• 単一受容 field 構造に起因する長距離の文脈的依存関係のモデル化の失敗とアーティファクトの発生という、従来の深層学習ベースの画像補完手法の限界を解消すること。
• マルチスケール特徴抽象化とモデルのロバスト性を向上させる深層インセプション学習を採用することで、画像補完における認知的理解を向上させること。
• 任意の形状のマスク（通常、不規則、手書き）を含む多様なランダムマスクデータセットを構築することで、自由形式補完を可能にすること。
• ImageNet、Places2、CelebA-HQ などの複数のベンチマークデータセットにおいて、優れた汎化性能と視覚的品質を示すことを実証すること。

提案手法

• 提案されたネットワークは、1層内で複数の受容 field を統合するインセプションモジュールを用い、特徴抽象化を強化し、長距離依存関係をモデル化する。
• 空間不変性を維持し、特徴の一般化を向上させるために、ポーリング層をアーキテクチャに保持する。これは、詳細の保持を目的としたポーリングの削除という一般的な慣習とは対照的である。
• 2つの新規なランダムマスク生成手法を導入する：1つはサイズ、回転、位置をランダム化した幾何学的形状（長方形、円、楕円）を用いる方法、もう1つはシードポイントから点に基づき膨張させて領域を拡大する方法。
• GitHub に公開されたカスタムランダムマスクデータセットを構築し、任意形状の穴に対する学習と評価を可能にする。
• 生成的敵対ネットワーク（GAN）フレームワークを用い、敵対的損失と知覚的損失を最適化することで、現実性と構造的一致性の両方を向上させる。
• ImageNet、Places2、CelebA-HQ の3つのデータセットを用い、定量的指標と最先端手法との定性的比較を通じてネットワークの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 単一受容 field の CNN と比較して、多受容 field のインセプションモジュールは、画像補完における高レベル特徴表現の向上とアーティファクトの低減に寄与するか？
• RQ2 多様で任意形状のマスクは、モデルの汎化性能を向上させ、自由形式補完を可能にする程度はどの程度か？
• RQ3 本手法は、GL、GntIpt、Pconv といった最先端手法と比較して、通常、不規則、カスタムマスク領域において定量的・定性的にどのように優れているか？
• RQ4 補完用の生成ネットワークにポーリング層を統合することで、詳細のシャープネスを維持しながら文脈理解を向上させることができるか？

主な発見

• 提案された Deep Inception Generative Network は、GL、GntIpt、Pconv よりも優れた視覚的品質を達成し、通常、不規則、自由形式の補完タスクにおいて、より少ないアーティファクトとより一貫性のあるテクスチャを生成する。
• Pconv や他のベースライン手法と比較して、特に大規模な穴補完において、チェス盤アーティファクトや構造的歪みが顕著に低減される。
• CelebA-HQ データセットの結果から、複雑な手書きマスクでさえも、より自然で文脈的に整合性のある顔を生成できることを示している。
• カスタムランダムマスクデータセットのおかげで、未観測のマスク形状に対しても堅牢な汎化性能を示し、提案手法のマスク生成技術の有効性が裏付けられた。
• 定量的比較では、すべてのデータセットで構造的類似性（SSIM）と知覚的品質指標において、従来の最先端手法を上回る性能を示した。
• アブレーションスタディにより、マルチスケール受容 field を有するインセプションモジュールと保持されたポーリング層が、特徴抽象化と補完の忠実度を顕著に向上させることを確認した。