[論文レビュー] Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps

Dongsheng Wang, Chaohao Xie+3 more|arXiv (Cornell University)|Apr 25, 2021

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 5

ひとこと要約

この論文では、予測されたエッジによってガイドされる学習可能で双方向のアテンションマップを用いることで、不規則な穴領域における構造的整合性の向上とぼやけの低減を図る、新しい画像補完フレームワークEdge-LBAMを提案する。ハードな0-1マスクの代わりにエンドツーエンドで学習可能なアテンションマップを採用し、エッジに配慮したマスクアップデートを統合することで、ベンチマークデータセットにおいて定量的指標および視覚的品質の両面で最先端の性能を達成した。

ABSTRACT

For image inpainting, the convolutional neural networks (CNN) in previous methods often adopt standard convolutional operator, which treats valid pixels and holes indistinguishably. As a result, they are limited in handling irregular holes and tend to produce color-discrepant and blurry inpainting result. Partial convolution (PConv) copes with this issue by conducting masked convolution and feature re-normalization conditioned only on valid pixels, but the mask-updating is handcrafted and independent with image structural information. In this paper, we present an edge-guided learnable bidirectional attention map (Edge-LBAM) for improving image inpainting of irregular holes with several distinct merits. Instead of using a hard 0-1 mask, a learnable attention map module is introduced for learning feature re-normalization and mask-updating in an end-to-end manner. Learnable reverse attention maps are further proposed in the decoder for emphasizing on filling in unknown pixels instead of reconstructing all pixels. Motivated by that the filling-in order is crucial to inpainting results and largely depends on image structures in exemplar-based methods, we further suggest a multi-scale edge completion network to predict coherent edges. Our Edge-LBAM method contains dual procedures,including structure-aware mask-updating guided by predict edges and attention maps generated by masks for feature re-normalization.Extensive experiments show that our Edge-LBAM is effective in generating coherent image structures and preventing color discrepancy and blurriness, and performs favorably against the state-of-the-art methods in terms of qualitative metrics and visual quality.

研究の動機と目的

• 不規則な穴を扱う際、標準的および部分畳み込み手法が引き起こす色の不一致やぼやけた結果といった制限を解消すること。
• 固定された0-1マスクの代わりにエンドツーエンドで学習可能なアテンションマップを採用することで、マスクアップデートと特徴再正規化を改善すること。
• 予測されたエッジを用いて補完プロセスを構造に配慮させることで、補完性能を向上させること。
• より良い特徴伝搬と再構成を実現するため、前向きおよび逆向きのアテンションマップを備えた双方向アテンションメカニズムを考案すること。
• マルチスケールエッジ予測とアテンションベースの特徴精錬を統合することで、より整合的で現実的な画像補完を実現すること。

提案手法

• 部分畳み込みにおけるハードな0-1マスクの代わりに、動的特徴再正規化とマスクアップデートを可能にするソフトで学習可能なアテンションマップである学習可能前向きアテンションマップ（LFAM）を導入する。
• 再構成中に欠落領域に注目を向けるために、デコーダーに学習可能な逆向きアテンションマップ（LRAM）を提案し、トレーニングの安定性と生成品質を向上させる。
• 入力から一貫性のあるエッジを予測するマルチスケールエッジ補完ネットワーク（MCENet）を採用し、エンコーダーにおける構造に配慮したマスクアップデートをガイドする。
• 予測されたエッジマップを用いてマスクアップデートとアテンション分布を制約するEdge-LFAMおよびEdge-LRAMを導入し、補完が構造的輪郭に従うように保証する。
• アテンションマップをエンドツーエンドで学習可能にし、エッジの監視と統合することで特徴学習を向上させる、エンコーダ-デコーダ構造の二重パスアーキテクチャを採用する。
• アテンションモジュールに適応的活性化関数 $g_A(\cdot)$ と $g_M(\cdot)$ を適用し、アブレーションスタディで標準的なSigmoidやReLUを上回る性能を示した。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンションマップは、不規則な穴補完における特徴再正規化とマスクアップデートを改善するために、ハードな0-1マスクに置き換え可能か？
• RQ2 エッジにガイドされたマスクアップデートは、生成画像の構造的整合性を向上させるとともにぼやけを低減するか？
• RQ3 双方向アテンションメカニズム（前向きおよび逆向き）は、画像補完における特徴伝搬と再構成を改善できるか？
• RQ4 マルチスケールエッジ予測とアテンションマップを統合することで、より構造に配慮した現実的な補完結果が得られるか？
• RQ5 アテンションモジュールにおける異なる活性化関数は、最終的な補完性能にどのように影響するか？

主な発見

• Edge-LBAMは、Paris StreetViewおよびPlaces2データセットにおいて、PSNRおよびSSIM指標の両面でPConv、DeepFillv2、EdgeConnectなどの手法を上回る最先端の性能を達成した。
• アブレーションスタディにより、提案された $g_A(\cdot)$ および $g_M(\cdot)$ 活性化関数が、Sigmoid、ReLU、およびそれらの組み合わせを著しく上回ることが確認された。
• 可視化結果から、Edge-LBAMのマスクアップデートは構造に配慮していることが示された：穴が予測されたエッジの方向に収縮し、整合的な構造的補完が可能になった。
• 逆向きアテンションマップ（LRAM）は、デコーダーが未知領域に注目するのを効果的に支援しており、既知領域よりも穴領域でのアテンション値が高くなっている。
• 空間的文脈と構造的キューに適応するアテンションマップを学習することで、Edge-LBAMは色の不一致とぼやけを低減した。
• 質的比較と定量的指標による検証から、多様な不規則な穴形状と複雑なテクスチャに対しても、本手法は強力であることが示された。