[論文レビュー] Boosting General Trimap-free Matting in the Real-World Image

Leo Shan Wenzhang Zhou Grace Zhao|arXiv (Cornell University)|May 28, 2024

Textile materials and evaluationsMaterials Science被引用数 3

ひとこと要約

本稿では、類縁度定義された前景と多様な特徴抽出を用いて前景の完全性と一般化性能を向上させる、粗くから細かくまでのトリマップフリーなマットイングネットワークMFC-Netを提案する。データ合成における画像調和性を導入し、Real-19kデータセットを構築した。合成画像および現実世界の画像の両方で最先端の性能を達成し、Real-19kではSADが35.4、MSEが9.4を記録した。

ABSTRACT

Image matting aims to obtain an alpha matte that separates foreground objects from the background accurately. Recently, trimap-free matting has been well studied because it requires only the original image without any extra input. Such methods usually extract a rough foreground by itself to take place trimap as further guidance. However, the definition of 'foreground' lacks a unified standard and thus ambiguities arise. Besides, the extracted foreground is sometimes incomplete due to inadequate network design. Most importantly, there is not a large-scale real-world matting dataset, and current trimap-free methods trained with synthetic images suffer from large domain shift problems in practice. In this paper, we define the salient object as foreground, which is consistent with human cognition and annotations of the current matting dataset. Meanwhile, data and technologies in salient object detection can be transferred to matting in a breeze. To obtain a more accurate and complete alpha matte, we propose a network called extbf{M}ulti- extbf{F}eature fusion-based extbf{C}oarse-to-fine Network extbf{(MFC-Net)}, which fully integrates multiple features for an accurate and complete alpha matte. Furthermore, we introduce image harmony in data composition to bridge the gap between synthetic and real images. More importantly, we establish the largest general matting dataset extbf{(Real-19k)} in the real world to date. Experiments show that our method is significantly effective on both synthetic and real-world images, and the performance in the real-world dataset is far better than existing matting-free methods. Our code and data will be released soon.

研究の動機と目的

• トリマップフリーなマットイングにおける前景定義の曖昧さを解消するため、前景を顕著な物体として定義することで、人間の認知および既存のマットイングデータセットのアノテーションと整合させる。
• 低レベル、高レベル、およびグローバルコンテキスト特徴の多様な特徴抽出を組み合わせた粗くから細かくまでのネットワークにより、前景の完全性とアルファマットの精度を向上させる。
• 合成画像と現実世界の画像の間のドメインシフトを低減するため、データ生成段階で画像調和性を導入する。
• トリマップフリー手法の信頼できる評価を可能にする大規模な現実世界マットイングベンチマーク（Real-19k）を構築する。
• 統合的な手法的およびデータ的イノベーションにより、合成画像および現実世界のマットイングベンチマークの両方で最先端の性能を達成する。

提案手法

• 顕著度検出を用いて前景を顕著な物体として定義し、人間の知覚および既存のデータセットのアノテーションと整合性を確保する。
• 粗くから細かくまでのネットワークとしてMFC-Netを提案し、粗いモジュールで低解像度の特徴抽出を実施することで、前景の整合性を高め、誤検出を低減する。
• 低レベルの外観特徴、高レベルの意味的特徴、およびグローバルコンテキスト特徴を、単純な連結や加算ではなく、学習可能なフィルタを用いて融合するインタリーブアテンション（IA）モジュールを導入する。
• 多様な画像における前景・背景の差を正規化するグローバルコンテキスト特徴（GCF）モジュールを導入し、一般化性能を向上させる。
• 合成データ生成段階で画像調和性を適用し、合成画像のテクスチャーや明るさを現実世界の画像と一致させることで、ドメインシフトを低減する。
• グローバルコンテキストとエッジ詳細の両立を最適化するため、512×512にダウンサンプリングするマルチスケールトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 トリマップフリーなマットイングにおいて、一貫性があり人間認知と整合する前景定義を確立するにはどうすればよいか？
• RQ2 アテンション機構を用いた多段階特徴抽出が、前景の完全性とアルファマット精度をどの程度向上できるか？
• RQ3 データ生成段階での画像調和性が、ドメインシフトを顕著に低減し、現実世界への一般化性能を向上させられるか？
• RQ4 粗くから細かくまでのマットイングネットワークにおいて、解像度と特徴表現の最適なトレードオフは何か？
• RQ5 Real-19kのような大規模な現実世界マットイングデータセットは、トリマップフリーなマットイング手法の評価とベンチマーク化をどのように改善するか？

主な発見

• 提案されたMFC-Netは、Real-19kデータセットで最先端の性能を達成し、SADが35.4、MSEが9.4、Gradが19.6、Connが33.5を記録した。
• アブレーションスタディの結果、インタリーブアテンション（IA）モジュールを削除するとMSEが2.2上昇し、グローバルコンテキスト特徴（GCF）モジュールを削除するとMSEが6.8上昇することが判明し、両者の重要性が裏付けられた。
• 画像調和性の導入により一般化性能が向上：512×512のダウンサンプリングと組み合わせた場合、MSEが15.5から9.4に低下し、顕著なドメイン適応の恩恵が得られた。
• 1/4のダウンサンプリング（512×512）を用いた粗いモジュールが最適なバランスを達成しており、フル解像度での学習では局所的特徴の学習に偏るため性能が著しく低下する。
• 19,000枚の現実世界画像を含むReal-19kデータセットは、現実世界のマットイング一般化性能の信頼できる評価を可能にし、既存のベンチマークを上回った。
• 従来のトリマップフリー手法（LFMやMGMatting）と比較して、現実世界の画像において顕著な性能向上を示し、SADおよびMSEが30%以上低減した。