[論文レビュー] Image Inpainting with Learnable Bidirectional Attention Maps

Chaohao Xie, Shaohui Liu+6 more|arXiv (Cornell University)|Sep 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 23

ひとこと要約

本稿では、画像補完のためのエンドツーエンドな方法で特徴量の再正規化とマスク更新を同時に学習する、新規なアテンションメカニズムである可学習双方向アテンションマップ（LBAM）を提案する。可学習な前向きおよび逆向きのアテンションマップを導入することで、U-Netデコーダーは穴埋めにのみ注目でき、パリストリートビューおよびPlacesデータセットにおいて、最先端の手法と比較して視覚的品質、シャープネス、構造的一致性が著しく向上する。

ABSTRACT

Most convolutional network (CNN)-based inpainting methods adopt standard convolution to indistinguishably treat valid pixels and holes, making them limited in handling irregular holes and more likely to generate inpainting results with color discrepancy and blurriness. Partial convolution has been suggested to address this issue, but it adopts handcrafted feature re-normalization, and only considers forward mask-updating. In this paper, we present a learnable attention map module for learning feature renormalization and mask-updating in an end-to-end manner, which is effective in adapting to irregular holes and propagation of convolution layers. Furthermore, learnable reverse attention maps are introduced to allow the decoder of U-Net to concentrate on filling in irregular holes instead of reconstructing both holes and known regions, resulting in our learnable bidirectional attention maps. Qualitative and quantitative experiments show that our method performs favorably against state-of-the-arts in generating sharper, more coherent and visually plausible inpainting results. The source code and pre-trained models will be available.

研究の動機と目的

• 不規則な穴の処理と画像補完における色の不一致やぼやけの低減という、標準的および部分畳み込み（PConv）の限界を解消すること。
• 部分畳み込み（PConv）における手作業で作成されたマスク更新と固定された正規化に依存する問題を、エンドツーエンドで学習可能なプロセスに置き換えること。
• 逆向きのアテンションマップを導入することで、デコーダーの効率を高め、再構築の対象を既知領域に制限すること。
• 可学習アテンションによって安定した特徴量学習とマスク伝搬が可能になるため、敵対的損失を有効に活用した訓練を可能にすること。

提案手法

• PConvのハードな0-1マスクと手作業で作成された正規化を置き換える、微分可能でエンドツーエンドで学習可能な再正規化メカニズムを有する可学習アテンションマップモジュールを提案する。
• エンコーダー段階での特徴量再正規化とマスク更新のための前向きアテンションマップを導入し、特徴量伝搬中に不規則な穴の形状に適応する。
• デコーダーに逆向きアテンションマップを導入し、既知領域での特徴量学習を抑制することで、ネットワークが補完中の穴にのみ注目できるようにする。
• エンコーダーとデコーダー間で双方向アテンション学習が可能な、前向きおよび逆向きのアテンションマップを併用したU-Netアーキテクチャを採用する。
• アテンションマップネットワークでSigmoidまたはLeakyReLUを活性化関数として使用し、最適な選択を妥当性検証のためのアブレーションスタディで検証する。
• 視覚的品質の向上を図るため、安定した訓練を可能にする可学習アテンションによって実現可能な敵対的損失を統合する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能なアテンションマップは、部分畳み込みにおける手作業マスク更新と正規化を上回ることができるか？
• RQ2 デコーダーに逆向きアテンションマップを導入することで、穴埋めへの注目が高まり、既知領域の再構築が抑制されるか？
• RQ3 提案された可学習双方向アテンションメカニズムは、敵対的損失による有効な訓練を可能にし、より優れた視覚的品質を実現できるか？
• RQ4 不規則な穴に対して、最先端の手法と比較して構造的一致性とテクスチャのリアルさの面で、モデルの性能は向上するか？

主な発見

• 全LBAMモデルは、パリストリートビューデータセットの(0.4, 0.5]の穴サイズ範囲でPSNRが28.73、SSIMが0.889を達成し、PConvおよび他の最先端手法を上回る性能を示した。
• ユーザースタディの結果、LBAMは63.2%のケースで最も視覚的に妥当な結果として選ばれ、PConv（15.2%）および他のベースラインと比べ顕著に優れた性能を示した。
• アブレーションスタディにより、可学習アテンション、逆向きアテンション、適切な活性化関数（例：ReLU）の組み合わせが最適性能を発揮するために不可欠であることが確認された。
• 敵対的損失を含まないモデル（Ours(w/o L_adv)）は、PSNRとSSIMが高かったが視覚的品質は低く、敵対的損失がわずかに悪い指標をもたらす一方で、視覚的リアリズムを向上させることを示した。
• 可視化結果から、LBAMは特にデコーダー部でアーティファクトとぼやけを効果的に低減しており、逆向きアテンションマップが既知領域の再構築を抑制していることが確認された。
• マスク更新の可視化から、エンコーダーのマスクは層を経るごとに縮小する一方で、デコーダーのマスクは既知領域を縮小しており、効果的な双方向適応が行われていることが示された。