[論文レビュー] Deep Image Matting with Flexible Guidance Input

Hang Cheng, Shugong Xu+2 more|arXiv (Cornell University)|Oct 21, 2021

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、プログレッシブトリマップ変形（PTD）方式とセマンティックフラッシュモジュール（SFM）を用いて、トリマップ、スクリブルマップ、クリックマップ、あるいはガイドなしの柔軟なガイド入力をサポートするディープ画像マッティング手法を提案する。本手法は、訓練中にトリマップを段階的に変形させ、マルチスケール特徴を統合することで、前景・背景分離の強靭性を高めることで、すべてのガイドレベル（ゼロガイドを含む）で最先端の性能を達成する。

ABSTRACT

Image matting is an important computer vision problem. Many existing matting methods require a hand-made trimap to provide auxiliary information, which is very expensive and limits the real world usage. Recently, some trimap-free methods have been proposed, which completely get rid of any user input. However, their performance lag far behind trimap-based methods due to the lack of guidance information. In this paper, we propose a matting method that use Flexible Guidance Input as user hint, which means our method can use trimap, scribblemap or clickmap as guidance information or even work without any guidance input. To achieve this, we propose Progressive Trimap Deformation(PTD) scheme that gradually shrink the area of the foreground and background of the trimap with the training step increases and finally become a scribblemap. To make our network robust to any user scribble and click, we randomly sample points on foreground and background and perform curve fitting. Moreover, we propose Semantic Fusion Module(SFM) which utilize the Feature Pyramid Enhancement Module(FPEM) and Joint Pyramid Upsampling(JPU) in matting task for the first time. The experiments show that our method can achieve state-of-the-art results comparing with existing trimap-based and trimap-free methods.

研究の動機と目的

• 画像マッティングにおける手動によるトリマップ作成の高コストなユーザー負担を軽減すること。
• 柔軟なユーザーガイド入力の導入により、トリマップフリー手法の性能を向上させること。
• 1つのモデルが、トリマップ、スクリブル、クリック、または入力なしという、さまざまな複雑さのユーザー入力を処理できるようにすること。
• マルチスケールのセマンティック統合を用いて、正確なアルファマット予測のための特徴学習を強化すること。
• 多様なガイド入力にわたる良好な一般化性能を発揮する訓練スキームの開発。

提案手法

• 訓練中に段階的に前景および背景領域を収縮させるデータオーグメンテーション方式として、プログレッシブトリマップ変形（PTD）を導入。これにより、トリマップがスクリブルマップに変換される。
• ランダムな点抽出と曲線フィッティングを用いて、現実的なユーザーのスクリブルやクリックを模擬。これにより、多様なユーザー入力に対する耐性が向上する。
• 特徴ピラミッド強化モジュール（FPEM）とジョイントピラミッドアップサンプリング（JPU）を統合したセマンティックフラッシュモジュール（SFM）を提案。マルチスケールのセマンティック特徴を統合。
• 複数のガイドタイプを同時に学習させ、エンドツーエンドで訓練することで、未観測のガイドレベルに対してもゼロショット一般化が可能になる。
• マッティングの基本式として、$ I_i = \alpha_i F_i + (1 - \alpha_i) B_i $ を用い、$ \alpha \in [0,1] $ とする。
• PTDを、ガイドが少ない状況での性能向上に加え、クリックマップやガイドなしの状況への一般化性能向上にも応用。

実験結果

リサーチクエスチョン

• RQ1 ディープ画像マッティングモデルは、トリマップ、スクリブル、クリック、あるいはガイドなしを含む複数のガイド入力タイプにおいて、SOTA性能を達成できるか？
• RQ2 訓練中にトリマップを段階的に変形させることで、スクリブルやクリックのようなスパarsなユーザー入力に対し、どのように耐性が向上するか？
• RQ3 PTDで訓練された1つのモデルが、トリマップフリーのマッティング状況にどの程度一般化できるか？
• RQ4 提案されたセマンティックフラッシュモジュール（SFM）は、正確なアルファマット予測のための特徴表現を効果的に向上させるか？
• RQ5 ガイドの品質が低下するに従ってモデルの性能がどの程度低下するか。また、ガイドなし状況でも耐性を保てるか？

主な発見

• ガイドなしテストセットにおいて、SADが36.36、MSEが0.0141を達成。ユーザー入力なしでも強力な性能を示す。
• クリックマップガイドありの状況では、SADが34.67、MSEが0.0112を達成。既存のトリマップフリー手法を上回る性能。
• PTD方式を用いることで、標準的な訓練と比較してトリマップでの性能がSADで2.32ポイント向上。クリックマップおよびガイドなし状況でも10ポイント以上のSAD向上。
• GCAおよびDIMモデルに対してもPTDを適用すると、ガイドなしのSADがそれぞれ60.15および90.10から41.05および65.67に改善。
• SFMモジュールは、すべてのガイドタイプで性能向上をもたらし、アブレーションスタディではFPEMまたはJPUを単独で使用する場合を上回ることを示した。
• 異なるスクリブルマップおよびクリックマップテストセットにおいて、標準偏差が低く抑えられており、同じガイドレベルでも形状の変動に対して耐性があることを実証。