[論文レビュー] End-to-end Animal Image Matting.

Jizhizi Li, Jing Zhang+2 more|arXiv (Cornell University)|Oct 30, 2020

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、共有エンコーダーと二重デコーダーを用いて、セマンティックセグメンテーションと詳細に注意を払ったマットングを同時に学習する、GFMと呼ばれる新規なエンドツーエンドの動物画像マットングフレームワークを提案する。AM-2kデータセット上で最先端の性能を達成しており、合成画像と実画像のドメインギャップを低減するための特化したコンポジション戦略（RSSN）により、一般化性能が向上している。

ABSTRACT

Extracting accurate foreground animals from natural animal images benefits many downstream applications such as film production and augmented reality. However, the various appearance and furry characteristics of animals challenge existing matting methods, which usually require extra user inputs such as trimap or scribbles. To resolve these problems, we study the distinct roles of semantics and details for image matting and decompose the task into two parallel sub-tasks: high-level semantic segmentation and low-level details matting. Specifically, we propose a novel Glance and Focus Matting network (GFM), which employs a shared encoder and two separate decoders to learn both tasks in a collaborative manner for end-to-end animal image matting. Besides, we establish a novel Animal Matting dataset (AM-2k) containing 2,000 high-resolution natural animal images from 20 categories along with manually labeled alpha mattes. Furthermore, we investigate the domain gap issue between composite images and natural images systematically by conducting comprehensive analyses of various discrepancies between foreground and background images. We find that a carefully designed composition route RSSN that aims to reduce the discrepancies can lead to a better model with remarkable generalization ability. Comprehensive empirical studies on AM-2k demonstrate that GFM outperforms state-of-the-art methods and effectively reduces the generalization error.

研究の動機と目的

• 複雑な毛並みや外見の変化が、既存のマットング手法の性能を妨げる自然画像における正確な動物フォアグラウンド抽出の課題に対処すること。
• ユーザーが提供するトリマップやスクラッチに依存しないように、生画像からエンドツーエンドで学習を可能にすること。
• 合成画像と実自然画像の間のドメインギャップを体系的かつ効果的に低減すること。
• 2,000枚の高解像度自然動物画像と正確なアルファマットを備えた、高品質なベンチマークデータセットAM-2kを構築すること。
• ドメインギャップを低減するためのコンポジション戦略（RSSN）を設計し、モデルの一般化性能を向上させること。

提案手法

• GFMネットワークは、入力画像から階層的特徴を抽出する共有エンコーダーを用い、その後、セマンティックセグメンテーションと詳細マットングのための二つの並列デコーダーを備える。
• セマンティックデコーダーは粗いフォアグラウンドマスクを予測するのに対し、詳細デコーダーはエッジやテクスチャの忠実度を高めた細粒度のアルファマット予測を生成する。
• 二つのデコーダーは、セグメンテーションとマットングの目的をバランスさせるマルチタスク損失を用いて同時に学習され、特徴の協調的学習が可能になる。
• 実世界の画像統計を模倣することで、合成画像と実画像の間のドメインギャップを低減する、新規なコンポジション戦略であるRSSN（逆スタイル合成ネットワーク）を導入する。
• モデルは、20種類の動物カテゴリにまたがる2,000枚の高解像度自然動物画像と、人間がアノテートしたアルファマットを備えたAM-2kデータセット上でエンドツーエンドで学習される。
• 合成データと実データにおけるフォアグラウンド・バックグラウンド画像の色分布、テクスチャ、空間的配置の差異を比較することで、ドメインギャップの分析が行われる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供するトリマップやスクラッチに依存せずに、エンドツーエンドの動物画像マットングをどのように改善できるか？
• RQ2 高レベルの意味的特徴と低レベルの詳細情報は、動物マットングにおいて果たす役割は何か？ そして、それらをどのように共同最適化できるか？
• RQ3 合成されたコンポジット画像と実自然画像の間のドメインギャップが、マットングモデルの一般化性能にどの程度悪影響を及えるか？
• RQ4 特化したデータコンポジション戦略が、ドメインの不一致を低減させ、実世界の動物画像におけるモデル一般化性能を向上させられるか？
• RQ5 提案されたGFMフレームワークは、自然動物画像における精度と頑健性の観点から、最先端の手法と比較してどの程度優れているか？

主な発見

• GFMはAM-2kベンチマークで最先端の性能を達成しており、平均絶対誤差（MAE）および構造的類似度（SSIM）の両指標で、既存手法を上回っている。
• 提案されたRSSNコンポジション戦略により、ドメインギャップの差異が顕著に低減され、実自然画像におけるモデル一般化性能が顕著に向上した。
• アブレーションスタディの結果、二重デコーダーによる意味的特徴と詳細の共同学習が、特に繊細な毛並みや複雑なエッジの処理においてマットング精度を向上させることを確認した。
• AM-2kデータセットは、20種類の動物カテゴリからなる2,000枚の高解像度画像と、正確な人間アノテート済みアルファマットを備え、高い多様性と品質を示した。
• 包括的な分析から、特に色とテクスチャにおけるフォアグラウンド・バックグラウンド画像の分布の不一致が、実画像におけるモデル性能を顕著に低下させることを明らかにした。
• RSSNによって生成されたデータで学習したモデルは、標準的なコンポジットデータで学習したモデルと比較して、実世界のテスト画像への一般化誤差が低減しており、より良好な一般化性能を示した。