[論文レビュー] Feature Refinement to Improve High Resolution Image Inpainting

Prakhar Kulshreshtha, Brian Pugh+1 more|arXiv (Cornell University)|Jun 27, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、推論時にマルチスケール整合性損失を用いて中間特徴マップを繰り返し最適化することで、再訓練を必要としない新規のマルチスケール特徴精錬手法を提案する。低次元から高次元へと段階的に予測を精錬し、ダウンサンプリングされた出力に対してL1損失を適用することで、1024×1024画像において再訓練なしに最先端の結果を達成し、従来手法に比べて構造的整合性とテクスチャの詳細が顕著に向上する。

ABSTRACT

In this paper, we address the problem of degradation in inpainting quality of neural networks operating at high resolutions. Inpainting networks are often unable to generate globally coherent structures at resolutions higher than their training set. This is partially attributed to the receptive field remaining static, despite an increase in image resolution. Although downscaling the image prior to inpainting produces coherent structure, it inherently lacks detail present at higher resolutions. To get the best of both worlds, we optimize the intermediate featuremaps of a network by minimizing a multiscale consistency loss at inference. This runtime optimization improves the inpainting results and establishes a new state-of-the-art for high resolution inpainting. Code is available at: https://github.com/geomagical/lama-with-refiner/tree/refinement.

研究の動機と目的

• 有効受容 field が制限されることによる高解像度での画像補完品質の低下を是正すること。
• ベースネットワークの再訓練なしに、高解像度補完におけるグローバル構造とテクスチャの詳細を向上させること。
• 低解像度の予測をガイドとして活用することで、高解像度補完の整合性とシャープネスを向上させること。
• 既存の最先端補完モデルと互換性を持つランタイム精錬技術を開発すること。

提案手法

• ネットワークの学習解像度（512px）から始まり、縮小率2の画像ピラミッドを構築する。
• 最低解像度で1回の順伝播を実行し、初期の補完予測を生成する。
• より高い解像度ごとに、ネットワークの「前部」（エンコーダー）の特徴マップをAdamを用いて最適化する（学習率0.002、15イテレーション）。
• ダウンサンプリングされた高解像度予測と低解像度予測の間のL1損失を、マスク領域にのみ適用する。
• 過学習を避けるために、損失計算の前にマスクをエロージョン（15pxの円形カーネル）処理を施す。
• アリゼーションを防ぎ、スムーズな特徴転送を保証するため、ガウスフィルタを適用した後、バイリニア補間でダウンサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 推論時に特徴マップを最適化することで、再訓練なしに高解像度画像補完の品質を向上させられるか？
• RQ2 低解像度予測をガイドとして用いることで、高解像度出力の構造的整合性と詳細が向上するか？
• RQ3 1024×1024解像度において、マルチスケール精錬は最先端手法とFIDおよびLPIPS指標の観点でどのように比較されるか？
• RQ4 反復的精錬を適用する際の推論時間と性能向上のトレードオフは何か？
• RQ5 ネットワークに依存しないランタイム精錬技術は、高解像度補完ベンチマークで既存手法を上回れるか？

主な発見

• 提案手法は1024×1024画像において最先端のFIDスコアを達成し、中程度のブラシでは19.864、太いブラシでは26.401を記録し、Big-LaMaや他のSOTA手法を上回る。
• LPIPSスコアは0.115（中程度）および0.135（太い）に低下し、正解画像との知覚的類似性が向上していることが示された。
• 細いブラシでは、十分なコンテキストが存在するため、Big-LaMaと同等の性能（FID: 13.193）を示した。
• 特に大規模なマスクを含む複雑な領域において、テクスチャのシャープネスとグローバル構造が顕著に向上した。
• 複数のスケールで順伝播/逆伝播を繰り返すため、推論時間が4.56秒/枚に増加（Big-LaMaの0.26秒と比較）。
• バックプロパゲーション中の勾配保存のため、メモリ使用量が増加し、GPUで処理可能な最大解像度が制限された。