[論文レビュー] Contextual-based Image Inpainting: Infer, Match, and Translate

Yuhang Song, Chao Yang+5 more|arXiv (Cornell University)|Nov 23, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用数 9

ひとこと要約

本論文は、粗い画像推論と詳細なテクスチャ変換にタスクを分離することで、高解像度画像の画像補填のための2段階のディープラーニングフレームワークを提案する。画像境界からの高周波成分を穴部分に転送するためのパッチスワップ層を用いることで、従来の最先端手法と比較して、特に512×512解像度においてよりシャープで現実的な結果を達成しており、1回の順伝播で推論が可能である。

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into inference and translation as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide the propagation of local textures from the boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions in much smaller space and hence easier to train. We evaluate our method on several public datasets and show that we generate results of better visual quality than previous state-of-the-art methods.

研究の動機と目的

• 複雑な欠損領域を有する高解像度画像（例：512×512）に対して、高品質で現実的な画像補填を生成する課題に対処する。
• 高次元ピクセル分布を直接学習する難しさを克服するため、画像→特徴推論と特徴→画像変換の2段階に分解された、管理しやすいタスクに分ける。
• ぼやけやアーチファクト、高い計算コストに悩まされる既存手法を改善するため、効率的な推論が可能な学習可能でエンドツーエンドで訓練可能なフレームワークを導入する。
• 任意の穴の形状やサイズ（大規模な欠損領域を含む）にも一般化可能でありながら、視覚的整合性とテクスチャの現実性を維持する。

提案手法

• 画像補填を2段階に分解する：(1) Image2Featureネットワークが不完全な画像から粗い、構造的に妥当な補填を生成する。
• 粗い特徴マップを高解像度で写真のようにリアルな画像に高精度に精錬するための Feature2Image ネットワークを訓練する。
• 穴部分内の各特徴パッチを、画像境界から最も類似したパッチに置き換える、新規の「パッチスワップ」層を導入し、高周波成分のテクスチャ詳細を注入する。
• 最終出力の視覚的質と現実性を向上させるために、知覚的損失と adversarial 学習を用いる。
• 誤差の伝搬を避け、安定性を向上させるために、Image2Feature ネットワークの予測ではなく、真値画像を用いて Feature2Image ネットワークを訓練する。
• 高次元の画像→画像マッピングの学習の複雑さを低減する多段階で自己教師ありのスキームにより、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド手法と比較して、2段階のディープラーニングフレームワークが高解像度画像補填の品質と現実性を向上させることができるか？
• RQ2 反復的最適化を必要とせずに、画像境界から穴部分への高周波成分のテクスチャ詳細の転送において、パッチスワップ層はどの程度効果的か？
• RQ3 Image2Feature ネットワークの予測ではなく真値画像を用いて Feature2Image ネットワークを訓練することで、より安定的かつ正確な結果が得られるか？
• RQ4 本手法は、大規模な欠損領域を含む任意の穴の形状やサイズに対しても、視覚的整合性を保ちながら一般化可能か？
• RQ5 視覚的品質と推論速度の両面で、GL Inpainting や Neural Inpainting といった既存の最先端手法をどの程度上回るか？

主な発見

• 本手法は、GL Inpainting [1] が効果的に処理できない512×512画像において、よりシャープで視覚的に整合性のある補填結果を生成する。
• パッチスワップ層は、テクスチャ詳細の転送を顕著に向上させ、Feature2Image ネットワークが反復的最適化を必要とせずに現実的なテクスチャを生成可能にする。
• Image2Feature ネットワークの予測ではなく真値画像を用いて Feature2Image ネットワークを訓練することで、著しく優れた結果が得られ、予測値を用いた場合に比べてノイズが多く不安定な出力が生じるのを防げる。
• 最終モデルは、COCO および ImageNet データセットで最先端の視覚的品質を達成しており、周囲の領域と自然に融合する結果を生成する。
• 推論は高速かつ効率的で、1回の順伝播のみで可能であり、オブジェクト除去やフォトレストアレーションなどの実世界の応用に適している。
• 訓練済みの Feature2Image ネットワークは補填を超えて一般化が可能であり、コンテンツ画像とスタイル画像からのリアルタイムな任意のスタイル転送を実現しており、優れたモデルの汎用性を示している。