[論文レビュー] Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation

Qiqi Hou, Feng Liu|arXiv (Cornell University)|Sep 20, 2019

Image Enhancement Techniques参考文献 51被引用数 11

ひとこと要約

本稿では、局所的特徴とグローバルな文脈を統合する二エンコーダー二デコーダー構造を用いた、文脈に配慮した深層学習フレームワークを提案する。このフレームワークは、1枚の自然画像から同時に前景とアルファマット推定を実現し、ラプラシアン損失と知覚的特徴損失の組み合わせに加え、有効なデータ拡張手法を用いることで、合成データで学習したにもかかわらず、実世界の画像に対しても高品質で視覚的に妥当なマットイング結果を達成する。これは、最先端の性能を達成する。

ABSTRACT

Natural image matting is an important problem in computer vision and graphics. It is an ill-posed problem when only an input image is available without any external information. While the recent deep learning approaches have shown promising results, they only estimate the alpha matte. This paper presents a context-aware natural image matting method for simultaneous foreground and alpha matte estimation. Our method employs two encoder networks to extract essential information for matting. Particularly, we use a matting encoder to learn local features and a context encoder to obtain more global context information. We concatenate the outputs from these two encoders and feed them into decoder networks to simultaneously estimate the foreground and alpha matte. To train this whole deep neural network, we employ both the standard Laplacian loss and the feature loss: the former helps to achieve high numerical performance while the latter leads to more perceptually plausible results. We also report several data augmentation strategies that greatly improve the network's generalization performance. Our qualitative and quantitative experiments show that our method enables high-quality matting for a single natural image. Our inference codes and models have been made publicly available at https://github.com/hqqxyy/Context-Aware-Matting.

研究の動機と目的

• 単一画像の自然画像マットイングの不適切な性質に対処するため、前景とアルファマットを同時に推定すること。
• 局所的な視覚的詳細とグローバルな文脈的情報を統合することで、マットイング品質を向上させること。
• 従来の深層学習手法が前景を再構築せずにアルファマットのみを予測するという制限を克服すること。
• 合成データセットで学習したにもかかわらず、実世界の画像への一般化を向上させること。
• 損失関数の設計とデータ拡張により、知覚的に優れた結果と数値的に正確なマットイング結果を達成すること。

提案手法

• 本手法は、二重エンコーダー二重デコーダーの完全畳み込みニューラルネットワークを採用する：マットイングエンコーダーが局所的特徴を捉え、コンテキストエンコーダーがグローバルな文脈を捉える。
• 両エンコーダーからの特徴量が連結され、前景画像とアルファマット予測のための別々のデコーダーに供給される。
• ネットワークは、数値的正確性のためのラプラシアン損失と、知覚的品質のための特徴損失の組み合わせを用いて訓練される。
• 実世界の画像の変動に耐性を高めるために、Re-JPEGING やガウスノイズ付加などのデータ拡張戦略が適用される。
• モデルは Xu ら [52] の合成データセットで学習されるが、実世界のテスト画像に対しても効果的に一般化される。
• 推論用コードとトレーニング済みモデルは、再現可能性およびさらなる研究を目的として GitHub で公開されている。

Figure 1: Real-world image matting. Our method is able to simultaneously estimate high-quality foreground images and alpha maps from real-world images although trained on a synthetic dataset. Our results keep final structures (the top example) while being free from the common color bleeding problem

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1枚の自然画像から同時に前景画像とアルファマットを推定できるか？
• RQ2 局所的特徴とグローバル特徴を統合することで、単一の局所的特徴に依存する手法と比較して、マットイング性能がどのように向上するか？
• RQ3 ラプラシアン損失と特徴損失を組み合わせることで、マットイング結果の数値的正確性と知覚的品質がどの程度向上するか？
• RQ4 合成データで学習したデータ拡張戦略が、実世界のマットイング課題に効果的に一般化できるか？
• RQ5 本手法は、非深層学習および深層学習の最先端手法と比較して、視覚的忠実度およびユーザーの好みにおいてどのように差をつけるか？

主な発見

• ユーザー評価において Global Matting [19] に対して平均 85.48% の好み率を達成し、強い知覚的優位性を示した。
• Closed-form Matting [27] に対して 84.11% の好み率を記録し、非深層学習の最先端手法に対しても一貫したユーザーの好みを獲得した。
• Deep Matting [52] を 77.67% の好み率で上回ったことから、前景とアルファマットの同時推定が、より優れた視覚的結果をもたらすことが示された。
• ラプラシアン損失と特徴損失の組み合わせにより、数値的正確性が高く、特に髪の毛やレースのような繊細な構造の処理において知覚的品質が向上した。
• Re-JPEGING やガウスノイズ付加などのデータ拡張技術は、合成データで学習したにもかかわらず、実世界の画像への一般化を顕著に向上させた。
• 色の漏れや細部の損失といった一般的な問題を効果的に軽減し、特に挑戦的な実世界の例において、定性的な比較でその有効性が示された。

Figure 2: The architecture of our matting network. We design a two-encoder-two-decoder network. The matting encoder and the context encoder capture both visual features and more global context information. The features from these two encoders are concatenated and feed to the foreground and the alpha