[論文レビュー] Natural Image Matting via Guided Contextual Attention

Yaoyi Li, Hongtao Lu|arXiv (Cornell University)|Jan 13, 2020

Image Enhancement Techniques参考文献 40被引用数 6

ひとこと要約

本論文は、低レベルの画像アフィニティをガイドとして用いることで、高レベルのアルファ特徴量をグローバルに伝搬するガイド付きコンテキストアテンション（GCA）モジュールを導入した、自然画像マットイングのための新規エンドツーエンドディープラーニング手法GCA Mattingを提案する。この手法は、Composition-1kおよびalphamatting.comベンチマークにおいて最先端の性能を達成しており、特に半透明領域における繊細なテクスチャーや構造の保持に優れている。

ABSTRACT

Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. Many of these methods can generate visually plausible alpha estimations, but typically yield blurry structures or textures in the semitransparent area. This is due to the local ambiguity of transparent objects. One possible solution is to leverage the far-surrounding information to estimate the local opacity. Traditional affinity-based methods often suffer from the high computational complexity, which are not suitable for high resolution alpha estimation. Inspired by affinity-based method and the successes of contextual attention in inpainting, we develop a novel end-to-end approach for natural image matting with a guided contextual attention module, which is specifically designed for image matting. Guided contextual attention module directly propagates high-level opacity information globally based on the learned low-level affinity. The proposed method can mimic information flow of affinity-based methods and utilize rich features learned by deep neural networks simultaneously. Experiment results on Composition-1k testing set and alphamatting.com benchmark dataset demonstrate that our method outperforms state-of-the-art approaches in natural image matting. Code and models are available at https://github.com/Yaoyi-Li/GCA-Matting.

研究の動機と目的

• アルファマット予測における半透明領域のぼやけたテクスチャーや構造の課題に対処すること。
• 局所的な画像アフィニティをガイドとして用いることで、ディープニューラルネットワークにおけるグローバルな透明度情報伝搬を可能にすること。
• 高解像度設定において高い計算コストを伴う従来のアフィニティベースの手法の限界を克服すること。
• アフィニティベースのマットイングとディープラーニングの事前知識を組み合わせることで、マットイングの精度を向上させること。
• スケーラブルでエンドツーエンドのフレームワークを構築し、フル解像度の画像を効率的に処理できること。

提案手法

• ガイド付きコンテキストアテンション（GCA）モジュールは、学習された低レベルの画像アフィニティに基づいて、完全畳み込みネットワーク内でグローバルなアルファ特徴量伝搬を実行し、アフィニティベースのマットイングを模倣する。
• GCAモジュールは、外観が類似するパッチ間で、低レベルの画像特徴量をガイドとして用いて高レベルのアルファ特徴量を伝搬する。
• 本手法は、未知のアルファ領域を、画像のガイドに従って既知の前景／背景領域からの0または1の値で埋める、ガイド付きインpaintingタスクとしてマットイングを扱う。
• フレームワークはエンコーダーとデコーダーの両ブランチにGCAブロックを統合し、画像特徴量とアルファ特徴量を別々に処理する。
• 訓練の安定化と特徴量学習の向上のため、残差接続とスペクトル正規化が用いられる。
• モデルはAdobe Image Mattingデータセット上でエンドツーエンドに訓練され、Composition-1kおよびalphamatting.comベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 局所的な画像外観によってガイドされたグローバルな透明度伝搬は、半透明領域におけるマットイング品質の向上に寄与するか？
• RQ2 ディープニューラルネットワークは、計算効率を維持しつつ、アフィニティベースのマットイングの情報フローを効果的に模倣できるか？
• RQ3 提案されたガイド付きコンテキストアテンションモジュールは、画像マットイングおよびインpaintingにおける既存のアテンション機構と比較してどのように優れているか？
• RQ4 特に大きな未知領域を有するトリマップに対して、本手法は一般化性能に優れているか？
• RQ5 画像スケーリングを伴わずに、高解像度のマットイングを達成でき、繊細なテクスチャーディテールを保持できるか？

主な発見

• Composition-1kベンチマークにおいて、GCA Mattingは勾配誤差とMSEの両面で最高の性能を達成し、以前のSOTA手法を上回っている。
• alphamatting.comベンチマークでは、GCA Mattingは勾配誤差指標で1位を記録しており、特に未知領域が大きい「large」と「user」トリマップで顕著な優位性を示している。
• 本手法は1台のNVIDIA GTX 1080（8GB）でフル解像度の推論を実現し、画像のスケーリングなしに全画像を処理しており、これによりより優れたテクスチャーパレストレーニングが可能になっている。
• アテンションマップの可視化により、モデルが構造的および外観的に類似するパッチから透明度を伝搬していることが確認され、特に背景領域からの伝搬が顕著である。
• 鉄のワイヤーが入ったプラスチックバッグのような複雑な構造物に対しても、従来手法が失敗する中で、本手法は効果的なコンテキスト推論により正しく予測している。
• 本手法は、未知領域のサイズの変化に関係なく強力な性能を維持しており、トリマップタイプの変化に対して頑健であることが示された。