[論文レビュー] Image Inpainting using Multi-Scale Feature Image Translation.

Yuhang Song, Chao Yang+4 more|arXiv (Cornell University)|Nov 23, 2017

Generative Adversarial Networks and Image Synthesis被引用数 18

ひとこと要約

本論文では、2つの深層ニューラルネットワークを用いて、初期化とテクスチャ精錬の段階にタスクを分離することで、画像の穴埋めのためのマルチスケール特徴画像変換手法を提案する。低次元の特徴変換をモデル化し、境界を基にしたテクスチャ転送を活用することで、先行手法と比較して視覚的品質が高く、推論速度が桁違いに速い結果を得た。

ABSTRACT

We study the task of image inpainting, which is to fill in the missing region of an incomplete image with plausible contents. To this end, we propose a learning-based approach to generate visually coherent completion given a high-resolution image with missing components. In order to overcome the difficulty to directly learn the distribution of high-dimensional image data, we divide the task into initialization and texture-refinement as two separate steps and model each step with a deep neural network. We also use simple heuristics to guide transferring of textures from boundary to the hole. We show that, by using such techniques, inpainting reduces to the problem of learning two image-feature translation functions of much smaller dimensionality. We evaluate our method on several public datasets and show that we not only generate results of comparable or better visual quality, but are orders of magnitude faster than previous state-of-the-art methods.

研究の動機と目的

• 高解像度の画像において欠落領域を有する画像を視覚的に一貫性のある形で補完する課題に対処すること。
• 高次元の画像データ分布を学習する難しさを克服するため、穴埋めを2つの低次元タスクに分解すること。
• 推論速度を向上させつつ、画像の穴埋めにおいて最新の視覚的品質を維持または上回ること。
• ヒューリスティックなガイドによって、画像の境界から欠落領域へとテクスチャを効果的に転送する手法を開発すること。

提案手法

• 本手法は、画像の穴埋めを2段階に分割する：初期補完とテクスチャ精錬。それぞれが別個の深層ニューラルネットワークでモデル化される。
• 画像変換タスクの次元を低減するために、マルチスケール特徴表現が用いられる。
• 画像の境界から穴へとテクスチャを転送する際、単純なヒューリスティクスを用いて構造的・テクスチャ的整合性を保つ。
• 各段階を独立した画像から特徴への変換問題として扱うことで、全体の学習目的を単純化する。
• ネットワークはエンドツーエンドで訓練され、文脈と境界の手がかりに基づいて、欠落領域に妥当なコンテンツを予測する。

実験結果

リサーチクエスチョン

• RQ1 画像の穴埋めを初期化と精錬の段階に分解することで、速度と視覚的品質の両方が向上するか？
• RQ2 高次元の画像補完の複雑さを低減するために、マルチスケール特徴変換はどの程度有効か？
• RQ3 ヒューリスティックに基づく境界を用いたテクスチャ転送は、生成領域の現実性を向上させるか？
• RQ4 この手法は、先行の最先端手法と比較して、推論速度と視覚的忠実度の面でどの程度優れているか？

主な発見

• 提案手法は、複数の公開データセットにおいて、最先端の手法と同等またはそれ以上の視覚的品質を達成した。
• 推論時間を顕著に短縮し、以前のSOTAアプローチと比較して桁違いに高速に動作した。
• マルチスケール特徴変換の活用により、低次元表現での有効な学習が可能になり、訓練の安定性が向上した。
• 境界を基にしたテクスチャ転送が、より現実的で文脈的に整合性のある穴埋めを実現した。