[論文レビュー] Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding

Qiaole Dong, Chenjie Cao+1 more|arXiv (Cornell University)|Mar 2, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、変換器構造レストーラーを用いて正規化されたグレースケールスケッチ空間を学習し、ゼロ初期化された残差追加を用いて事前学習モデルと統合することで、構造的回復を向上させるインクリメンタルな変換器ベースの画像穴埋めフレームワーク、ZITSを提案する。新たなマスキング位置符号化（MPE）により、大規模な不規則なマスクにおいて性能が向上し、LaMaなどの最先端手法と比較して、構造の保持が優れておりぼやけが少ない1024×1024画像において最先端の結果を達成した。

ABSTRACT

Image inpainting has made significant advances in recent years. However, it is still challenging to recover corrupted images with both vivid textures and reasonable structures. Some specific methods only tackle regular textures while losing holistic structures due to the limited receptive fields of convolutional neural networks (CNNs). On the other hand, attention-based models can learn better long-range dependency for the structure recovery, but they are limited by the heavy computation for inference with large image sizes. To address these issues, we propose to leverage an additional structure restorer to facilitate the image inpainting incrementally. The proposed model restores holistic image structures with a powerful attention-based transformer model in a fixed low-resolution sketch space. Such a grayscale space is easy to be upsampled to larger scales to convey correct structural information. Our structure restorer can be integrated with other pretrained inpainting models efficiently with the zero-initialized residual addition. Furthermore, a masking positional encoding strategy is utilized to improve the performance with large irregular masks. Extensive experiments on various datasets validate the efficacy of our model compared with other competitors. Our codes are released in https://github.com/DQiaole/ZITS_inpainting.

研究の動機と目的

• 大規模な不規則なマスクを伴う高解像度画像において、現実的で包括的なテクスチャと構造を回復する課題に対処すること。
• 畳み込みニューラルネットワーク（CNN）が長距離依存関係を捉えきれないことと、画像穴埋めにおける大規模な変換器の高い計算コストという限界を克服すること。
• マスク領域に明示的な位置情報を取り入れることで、弱いテクスチャや複雑な構造的シーンにおける性能を向上させること。
• 完全な再トレーニングなしに、事前学習済み穴埋めモデルに構造的事前知識を効率的に統合できること。

提案手法

• エッジやラインから導出される低解像度グレースケールスケッチ空間において、包括的な構造を学習するため、交互に配置された軸方向および標準的なアテンションブロックを備えた変換器構造レストーラー（TSR）を採用する。
• スケッチ空間は4層の畳み込みニューラルネットワーク（CNN）を用いてアップサンプリングされ、高解像度での構造的詳細の保持が図られる。
• ゲート付き畳み込みを備えた構造特徴エンコーダー（SFE）が、ゼロ初期化された残差追加（ZeroRA）を用いて、Fast Fourier Convolution（FFC）ベースの穴埋めモデルに構造的特徴を統合する。
• 新たなマスキング位置符号化（MPE）は、マスク領域への未マスク領域からの距離と方向を符号化し、大規模な不規則なマスクにおける再構成忠実度を向上させる。
• フレームワークは段階的トレーニングを可能とし、事前学習モデルの高速収束と効率的な適応が可能である。
• 本手法はエンドツーエンドでトレーニング可能であり、再トレーニングなしに最大2048×2048の高解像度画像に適用可能である。

Figure 1 : High quality 1024 $\times$ 1024 inpainted results. From left to right, masked inputs, results of LaMa [ 45 ] , results of our method.

実験結果

リサーチクエスチョン

• RQ1 メインモデルの再トレーニングなしに、軽量で段階的な変換器ベースの構造レストーラーが、画像穴埋めにおける包括的構造回復を改善できるか？
• RQ2 標準的な位置符号化と比較して、マスキング位置符号化（MPE）は大規模で不規則なマスクにおいて性能をどのように向上させるか？
• RQ3 エッジやワイヤーフレームから導出される正規化されたグレースケールスケッチ空間は、高解像度構造再構成を効果的にガイドできるか？
• RQ4 ゼロ初期化された残差追加（ZeroRA）に基づく統合戦略は、完全な微調整と比較して、より高速な収束と優れた性能を実現できるか？

主な発見

• 40%の中央矩形マスクを伴う1k Places(512)データセットにおいて、本手法はPSNR 19.65、FID 55.85、LPIPS 0.239を達成し、FIDおよびLPIPSにおいてCo-ModおよびLaMaを上回り、PSNRでは同等の水準を維持した。
• 1024×1024のMatterPort3D画像において、本手法はLaMaと比較してより一貫性があり構造的に正確な結果を生成した。特に、弱いテクスチャや複雑な幾何構造を有するシーンで顕著な優位性を示した。
• IndoorおよびPlaces2データセットにおけるユーザー評価では、それぞれ72.3%および74.1%の比較で、本手法が最も高い評価を得ており、LaMaを著しく上回った。
• 強周期パターンを有する512×512のテクスチャ画像において、本手法は競争力のあるPSNR（25.67）およびFID（11.67）を達成し、FIDおよびLPIPSにおいてLaMaをわずかに上回った。
• 2048×2048の画像において、本手法はLaMaと比較して一貫性のある構造とぼやけの低減を維持した。これは、超高解像度へのスケーラビリティを示している。
• 複雑な都市景観における遠距離ビューでは、スケッチ空間の解像度が限られている（256×256）ため、本手法は失敗した。これは、遠くの構造的詳細を捉える能力の限界を示している。

Figure 2 : The overview of our ZITS. At first, the TSR model is used to restore structures with low resolutions. Then the simple CNN based upsampler is leveraged to upsample edge and line maps. Moreover, the upsampled sketch space is encoded by the SFE model, and added to the FTR through ZeroRA to r