[論文レビュー] High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

Chao Yang, Xin Lu+4 more|arXiv (Cornell University)|Nov 30, 2016

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 28

ひとこと要約

本稿では、深層特徴相関を用いてグローバルなコンテンツとローカルなテクスチャ制約を同時に最適化することで、高解像度画像の画像補填に適したマルチスケールニューラルパッチ合成手法を提案する。事前学習済み分類ネットワークを用いて中間層のパッチ応答を一致させ、粗いスケールから細かいスケールへ段階的に結果を改善することで、従来手法よりも鮮明で整合性の高い詳細を達成する。特に512×512の画像において顕著な性能向上を示す。

ABSTRACT

Recent advances in deep learning have shown exciting promise in filling large holes in natural images with semantically plausible and context aware details, impacting fundamental image manipulation tasks such as object removal. While these learning-based methods are significantly more effective in capturing high-level features than prior techniques, they can only handle very low-resolution inputs due to memory limitations and difficulty in training. Even for slightly larger images, the inpainted regions would appear blurry and unpleasant boundaries become visible. We propose a multi-scale neural patch synthesis approach based on joint optimization of image content and texture constraints, which not only preserves contextual structures but also produces high-frequency details by matching and adapting patches with the most similar mid-layer feature correlations of a deep classification network. We evaluate our method on the ImageNet and Paris Streetview datasets and achieved state-of-the-art inpainting accuracy. We show our approach produces sharper and more coherent results than prior methods, especially for high-resolution images.

研究の動機と目的

• メモリ制約や学習制約のため、高解像度画像において失敗する既存のディープラーニングベースの補填手法の限界を克服すること。
• 補填領域におけるグローバルな構造的整合性を保ちながら、高周波数のテクスチャディティールを改善すること。
• コンテンツ予測において敵対的損失やL2損失に依存する手法で一般的に見られるぼやけやアーチファクトの問題を解消すること。
• 固定された長方形マスクを超えて、任意の形状の大きな穴に対しても効果的な補填を可能にすること。
• 解像度レベル間で忠実度を維持するスケーラブルなマルチスケール最適化フレームワークを構築すること。

提案手法

• 本手法は、トレーニング済みのエンコーダ・デコーダネットワークからのグローバルコンテンツ制約と、事前学習済み分類ネットワークの中央層特徴相関に基づくローカルテクスチャ制約を統合する共同最適化フレームワークを用いる。
• ローカルなパッチ類似度は、深層ネットワークの中間層からの3×3の局所的応答を用いて計算され、テクスチャの合成をガイドする。
• 各レベルで2倍のダウンサンプリングを繰り返すことでマルチスケールのピラミッドを構築し、128×128から始め、64×64の穴を想定することで、粗いスケールから細かいスケールへの段階的最適化を可能にする。
• 各スケールで、穴はコンテンツネットワークの出力で初期化され、限界メモリBFGSを用いてコンテンツ損失とテクスチャ損失を同時に最小化するように最適化される。
• 各スケールでの最適化結果はアップサンプリングされ、次の高解像度最適化の初期化に使用され、構造的一致性が保持される。
• 任意の形状の穴に対しては、バウンディングボックスを用い、平均画素値で埋め、同じ最適化パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドネットワークのみで達成可能な範囲を超えて、コンテンツとテクスチャ制約の共同最適化が高解像度画像補填を改善できるか？
• RQ2 事前学習済みネットワークの中央層特徴相関を用いることで、高周波数ディティールの生成にどの程度有効にパッチ合成をガイドできるか？
• RQ3 マルチスケールで粗いスケールから細かいスケールへの最適化戦略は、単一スケールのディープラーニング手法で見られるぼやけや構造的アーチファクトを軽減できるか？
• RQ4 特別なアーキテクチャ変更なしに、任意の形状の穴に一般化できるか？
• RQ5 コンテンツネットワークに敵対的損失を組み込むことで、初期化の品質と最終的な補填結果の質にどのような影響があるか？

主な発見

• 提案手法は、ImageNetおよびParis Streetviewデータセットの両方で、構造的一致性とテクスチャディティールの両面で、従来手法を上回る最先端の補填精度を達成した。
• 特に512×512の画像において、コンテキストエンコーダーやPatchMatchベースの手法と比較して、はるかに鮮明なテクスチャと目立たない境界アーチファクトを示した。
• コンテンツネットワークに敵対的損失を組み込むことで、初期化がよりシャープになり、これが最終的な補填品質の向上とぼやけの低減に直接寄与した。
• マルチスケール最適化フレームワークにより、256×256などの大きな穴を含む高解像度画像の補填が効果的に可能になった。これは、従来の学習ベースの手法ではスケーリングできない領域である。
• 本手法は、既存のパッチを単に再利用するのではなく、新しいテクスチャを生成するため、複雑なシーンにおいてより現実的な合成が可能になった。
• 性能に優れる一方で、1枚あたり約1分（Titan X GPU）とリアルタイムには達しない。主に反復的最適化に起因する。