[論文レビュー] Deep Blind Image Inpainting

Yang Liu, Jinshan Pan+1 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Image Processing Techniques参考文献 26被引用数 7

ひとこと要約

本論文は、欠損領域の位置を事前に知らない状態で、損傷を受けた入力から明確な画像を復元する深層学習ベースのブラインド画像補完手法を提案する。エンコーダ・デコーダアーキテクチャに残差学習と$L_1$に基づくロバスト損失関数を組み合わせることで、抽出された勾配と文脈特徴を活用して欠損コンテンツを予測し、ベンチマークデータセットで最高水準の性能を達成し、高いPSNRおよびSSIMスコアを実現した。

ABSTRACT

Image inpainting is a challenging problem as it needs to fill the information of the corrupted regions. Most of the existing inpainting algorithms assume that the positions of the corrupted regions are known. Different from the existing methods that usually make some assumptions on the corrupted regions, we present an efficient blind image inpainting algorithm to directly restore a clear image from a corrupted input. Our algorithm is motivated by the residual learning algorithm which aims to learn the missing infor- mation in corrupted regions. However, directly using exist- ing residual learning algorithms in image restoration does not well solve this problem as little information is available in the corrupted regions. To solve this problem, we introduce an encoder and decoder architecture to capture more useful information and develop a robust loss function to deal with outliers. Our algorithm can predict the missing information in the corrupted regions, thus facilitating the clear image restoration. Both qualitative and quantitative experimental demonstrate that our algorithm can deal with the corrupted regions of arbitrary shapes and performs favorably against state-of-the-art methods.

研究の動機と目的

• 実世界の応用において一般的な課題である、欠損領域の位置が不明な状況における画像補完の課題に対処すること。
• 事前にセグメンテーションされたマスクに依存せずに、損傷を受けた入力から直接明確な画像を復元できるエンドツーエンドの深層学習フレームワークを構築すること。
• エンコーダ・デコーダアーキテクチャを通じて文脈的・構造的特徴を捉えることで、復元品質を向上させること。
• 新規の損失関数の設計により、損傷領域内の外れ値に対するロバスト性を向上させること。
• 従来の最先端手法と比較して、任意の形状の欠損領域に対しても優れた性能を発揮すること。

提案手法

• 本手法は、損傷を受けた画像から文脈的特徴を抽出・再構築するため、エンコーダ・デコーダアーキテクチャを備えた深層畳み込みニューラルネットワークを採用する。
• 残差学習を適用し、損傷済み画像と正解画像の差分を学習することで、損傷領域の欠損コンテンツを予測する。
• 入力から事前に抽出された画像勾配を、特徴学習のガイドとしての事前情報として用い、エッジ回復の改善を図る。
• 外れ値の影響を低減するため、$L_1$ノルムに基づくロバスト損失関数を用いることで、学習の安定性と一般化性能を向上させる。
• ネットワークはエンドツーエンドで訓練され、損傷入力から直接完全で明確な画像を予測可能となる。
• エンコーダ・デコーダパスにおけるスキップ接続とマルチスケール特徴学習を通じて、グローバルな文脈とローカルな詳細を両方活用する。

実験結果

リサーチクエスチョン

• RQ1 欠損領域の位置が不明な状態で、深層ニューラルネットワークが損傷入力から明確な画像を復元できるか？
• RQ2 残差学習を組み合わせたエンコーダ・デコーダアーキテクチャは、ブラインド画像補完において文脈的・構造的情報を効果的に捉えられるか？
• RQ3 事前に抽出された画像勾配を組み込むことで、回復されたエッジやテクスチャの品質が向上するか？
• RQ4 $L_1$に基づく損失関数は、$L_2$と比較して外れ値の処理と損傷領域内の画像詳細の保持においてどのように優れているか？
• RQ5 提案手法は、大規模で任意形状の欠損領域に対しても一般化可能であり、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• Set14ベンチマークでPSNR 37.9356、SSIM 0.9845を達成し、ベースラインモデルを上回った。
• 事前に抽出された勾配の導入により構造的回復が向上し、視覚的比較と定量的指標の両方で、よりシャープなエッジと正確な再構成が実現した。
• $L_1$に基づく損失関数は、$L_2$に基づく損失と比較して収束が良く、アーチファクトも少なく、トレーニングおよび検証損失値が低かった。
• ネットワークは50エポック以内に安定して収束し、効率的なトレーニングと強固な最適化を示した。
• 複数のデータセットにおいて、定性的および定量的評価の両面で、最先端のアルゴリズムと比較して優れた性能を発揮した。
• 顔の特徴など重要な構造的要素が重度に損傷を受けると失敗ケースが発生し、独自の高レベルの意味的構造の処理における限界が示された。