[論文レビュー] Progressive Image Inpainting with Full-Resolution Residual Network

Zongyu Guo, Zhibo Chen+3 more|arXiv (Cornell University)|Jul 24, 2019

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本稿では、不規則な穴領域における段階的画像補填のためのフルリゾリューション残差ネットワーク（FRRN）を提案する。新規のフルリゾリューション残差ブロック（FRRB）を用い、高解像度特徴の統合を維持することで、テクスチャ予測と収束を向上させる。本手法は、N Blocks, One Dilation戦略と段階的損失関数を採用し、中間段階の修復品質を向上させ、Places2、CelebA、その他のベンチマークで最先端の性能を達成し、PSNRおよびSSIMの大幅な向上を実現した。

ABSTRACT

Recently, learning-based algorithms for image inpainting achieve remarkable progress dealing with squared or irregular holes. However, they fail to generate plausible textures inside damaged area because there lacks surrounding information. A progressive inpainting approach would be advantageous for eliminating central blurriness, i.e., restoring well and then updating masks. In this paper, we propose full-resolution residual network (FRRN) to fill irregular holes, which is proved to be effective for progressive image inpainting. We show that well-designed residual architecture facilitates feature integration and texture prediction. Additionally, to guarantee completion quality during progressive inpainting, we adopt N Blocks, One Dilation strategy, which assigns several residual blocks for one dilation step. Correspondingly, a step loss function is applied to improve the performance of intermediate restorations. The experimental results demonstrate that the proposed FRRN framework for image inpainting is much better than previous methods both quantitatively and qualitatively. Our codes are released at: \url{https://github.com/ZongyuGuo/Inpainting_FRRN}.

研究の動機と目的

• 周囲のコンテキストが限られた不規則なマスク領域におけるリアルなテクスチャの生成という課題に対処すること。
• 段階的補填における中間修復品質の向上を通じて、段階間での誤差伝搬を防ぐこと。
• より良いテクスチャ合成と高速な収束を実現するため、フルリゾリューション特徴を維持する深く効果的なアーキテクチャを設計すること。
• 適応的マスク拡張と高精度再構成を可能にする段階的補填を実現すること。

提案手法

• フルリゾリューション特徴ブランチを並列に維持するフルリゾリューション残差ブロック（FRRB）を導入し、特徴統合とテクスチャ予測を強化する。
• マスク拡張にダイレータモジュールを用いることで、画像の精錬とマスクの拡張を交互に繰り返す段階的補填戦略を採用する。
• N Blocks, One Dilation 戦略を適用し、各ダイレータステップに複数のFRRBを割り当てることで、マスク更新前の再構成品質を向上させる。
• 中間出力を正則化する段階的損失関数を適用し、学習中の安定性を向上させるとともに、誤差伝搬を抑制する。
• 複数のダイレータモジュールを含み、各モジュールに複数のFRRBを内蔵するフルリゾリューション残差ネットワーク（FRRN）を設計し、大規模で不規則な穴に対応する。
• L1損失と知覚損失を用いてエンド・トゥ・エンドでネットワークを訓練し、各中間段階に段階的損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 フルリゾリューション残差アーキテクチャは、画像補填におけるテクスチャ合成と収束速度を向上させ得るか？
• RQ2 制御されたマスク拡張を伴う段階的精錬は、中間段階および最終段階の再構成品質を向上させるか？
• RQ3 N Blocks, One Dilation 戦略と段階的損失関数が、段階的補填における誤差伝搬を共同で抑制できるか？
• RQ4 各ダイレータモジュールあたりのFRRB数は、穴のサイズに応じて性能にどのように影響を与えるか？

主な発見

• FRRBにおけるフルリゾリューションブランチは収束速度を向上させ、10%-20%マスクのCelebAでPSNRを0.63ポイント向上（33.66 vs. 33.03）させる。
• 段階的損失関数は中間段階および最終段階の結果を一貫して向上させ、異なるマスクサイズで平均してPSNRを0.58ポイント向上させる。
• 3つのダイレータモジュール（6つのFRRB）を備えた軽量FRRNは、CelebAでPSNR 33.66を達成し、小〜中規模の穴に対してピーク性能に近づく。
• 8つのモジュール（16のFRRB）を備えたフルFRRNは、10%-20%マスクでPSNR 34.07を達成し、大規模な穴に対してもスケーラビリティを示した。
• Places2では、EdgeConnect や PConv といった従来の最先端手法を上回り、PSNR、SSIM、L1の指標で最先端の性能を達成した。
• アブレーションスタディにより、高品質な再構成と安定した学習の両方にとって、フルリゾリューションブランチと段階的損失が不可欠であることが確認された。