[論文レビュー] Deep Stacked Networks with Residual Polishing for Image Inpainting

Uğur Demir, Gözde Ünal|arXiv (Cornell University)|Dec 31, 2017

Advanced Image Processing Techniques参考文献 20被引用数 6

ひとこと要約

本論文は、画像の穴埋めに特化した2段階のディーブラーニングフレームワーク「Residual Polishing」を提案する。まず、文脈特徴を用いて欠損領域を埋める「粗いペインター・ネットワーク」（CPN）が動作し、その後に「細かいペインター・ネットワーク」（FPN）がアーティファクトやノイズを低減するための残差補正を学習する。この手法は、Google Street Viewデータセットにおいて22.89 dBのSOTA（最先端）PSNRを達成し、従来手法に比べて視覚的品質と定量的指標の両面で顕著な向上を示した。

ABSTRACT

Deep neural networks have shown promising results in image inpainting even if the missing area is relatively large. However, most of the existing inpainting networks introduce undesired artifacts and noise to the repaired regions. To solve this problem, we present a novel framework which consists of two stacked convolutional neural networks that inpaint the image and remove the artifacts, respectively. The first network considers the global structure of the damaged image and coarsely fills the blank area. Then the second network modifies the repaired image to cancel the noise introduced by the first network. The proposed framework splits the problem into two distinct partitions that can be optimized separately, therefore it can be applied to any inpainting algorithm by changing the first network. Second stage in our framework which aims at polishing the inpainted images can be treated as a denoising problem where a wide range of algorithms can be employed. Our results demonstrate that the proposed framework achieves significant improvement on both visual and quantitative evaluations.

研究の動機と目的

• 大規模な欠損領域を含むディーブラーニングベースの画像穴埋めにおけるアーティファクトやノイズの課題に対処すること。
• 穴埋めプロセスを粗い再構築と精練の段階に分離することで、視覚的忠実度と定量的性能を向上させること。
• 任意の既存の穴埋めモデルに、汎用的な残差ポリッシュングネットワークを組み込むことで強化を可能とすること。
• 局所的な変形やノイズを低減する目的で、残差補正を学習することが、エンドツーエンド最適化よりも効果的であることを示すこと。

提案手法

• フレームワークは、コンテキストエンコーダーを模倣した「粗いペインター・ネットワーク」（CPN）を用い、L1、L2、および知覚的（特徴）損失を組み合わせて訓練することで、初期の穴埋め結果を生成する。
• 「細かいペインター・ネットワーク」（FPN）は、CPNの出力と正例画像との間の残差差分を予測するように訓練され、局所的なアーティファクトやノイズの補正に焦点を当てる。
• FPNは畳み込みブロック、バッチ正則化、ReLU活性化関数を備えた残差ネットワークとして実装され、固定されたCPN重みを前提にAdamによる最適化が行われる。
• ポリッシュング段階をノイズ除去問題として扱うことで、さまざまなアーキテクチャや損失関数の柔軟な利用が可能になる。
• CPNとFPNは逐次的に訓練される：まずCPNを訓練し、その後に固定されたCPN重みを前提にFPNを訓練することで、独立した最適化が可能になる。
• このフレームワークは汎用的であり、最初の段階のネットワークを置き換えるだけで、任意の穴埋めモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 穴埋めを粗い再構築と精練の段階に分離することで、視覚的および定量的性能が向上するか？
• RQ2 初期穴埋め結果と正例との間で残差補正を学習することは、エンドツーエンド学習に比べてアーティファクト抑制に優れているか？
• RQ3 CPNにおける知覚的（特徴）損失の使用は、ピクセル単位の損失のみを用いる場合に比べて、テクスチャ合成品質にどのように影響するか？
• RQ4 軽量でタスク特化型のポリッシュングネットワークは、初期穴埋めネットワークが引き起こす局所的な変形やノイズを効果的に低減できるか？
• RQ5 FPNのアーキテクチャ（例：残差ブロック、バッチ正則化）は、最終的な穴埋め品質にどの程度の影響を及ぼすか？

主な発見

• 提案されたResidual Polishingフレームワークは、Google Street Viewデータセットで22.89 dBのPSNRを達成し、Context-Encoder（20.60 dB）およびNeural Patch Synthesis（20.72 dB）を上回った。
• CPN単体でも21.37 dBのPSNRを達成しており、ピクセル単位の損失に加えて知覚的（特徴）損失を用いることで、テクスチャ合成品質が向上していることが示された。
• FPNはL1損失の平均値をCPNの1.97から1.74に、L2損失の平均値を0.38から0.32に低下させ、再構築精度の顕著な向上を示した。
• 図5の視覚的比較では、FPN出力がCPNやベースライン手法に比べて滑らかでより現実的なテクスチャを生成し、目立つアーティファクトが少ないことが確認された。
• CPNが初期結果を悪くする失敗ケースに対しても、本手法は頑健であるが、CPNが妥当な粗い再構築を提供している場合に性能向上が最大に達する。
• FPNアーキテクチャにおけるバッチ正則化とReLUの併用は、正則化なしのReLUやLReLUに比べて収束性と性能が優れていることが示された。