[論文レビュー] Mask Guided Matting via Progressive Refinement Network

Qihang Yu, Jianming Zhang+6 more|arXiv (Cornell University)|Dec 12, 2020

Image Enhancement Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、粗いガイドマスク（トリマップ、バイナリセグメンテーション、低品質なアルファマットなど）から段階的に予測を改善するプログレッシブリファインメントネットワーク（PRN）を用いた、ロバストなディーブラーニングフレームワークであるマスクガイドド（MG）マッティングを提案する。自己ガイドドな段階的リファインメントと、新しいデータオーグメンテーション戦略「ランダムアルファブレンドング」を組み合わせることで、実画像および合成データのベンチマークにおいて最先端の性能を達成し、前景色推定の精度を向上させる。

ABSTRACT

We propose Mask Guided (MG) Matting, a robust matting framework that takes a general coarse mask as guidance. MG Matting leverages a network (PRN) design which encourages the matting model to provide self-guidance to progressively refine the uncertain regions through the decoding process. A series of guidance mask perturbation operations are also introduced in the training to further enhance its robustness to external guidance. We show that PRN can generalize to unseen types of guidance masks such as trimap and low-quality alpha matte, making it suitable for various application pipelines. In addition, we revisit the foreground color prediction problem for matting and propose a surprisingly simple improvement to address the dataset issue. Evaluation on real and synthetic benchmarks shows that MG Matting achieves state-of-the-art performance using various types of guidance inputs. Code and models are available at https://github.com/yucornetto/MGMatting.

研究の動機と目的

• 高精度な特定のガイド入力（正確なトリマップなど）を必要とする従来のマッティング手法の制限を解消すること。
• トリマップ、バイナリセグメンテーション、低品質なアルファマットなど、種類や品質が異なる多様な粗いマスクに対しても堅牢に動作する汎用的なマッティングフレームワークを開発すること。
• 合成データ生成によりデータセットの制限を克服し、合成時のフレーミングを低減させるために、前景色推定の精度を向上させること。
• より現実的なシナリオでのモデル評価を可能にするために、新しい高品質な実世界マッティングベンチマークデータセットを公開すること。

提案手法

• 推論のデコード段階で、不確実領域の自己ガイドドで段階的なリファインメントを可能にするプログレッシブリファインメントネットワーク（PRN）を提案。複数段階にわたり予測精度を向上させる。
• 訓練段階で、ランダムバイナライゼーション、モルフォロジカル操作、およびCutMaskを含む、ガイドマスクの摂動パイプラインを導入。これにより、多様で不完全な外部マスクに対する耐性が向上する。
• ランダムアルファブレンドング（RAB）を用いて、画像とランダムなアルファマットをブレンドすることで合成学習データを生成。手動アノテーションを必要とせず、前景色推定の精度を向上させる。
• 再JPEG化、ぼかし、ノイズを含むデータオーグメンテーションを適用した修正版Composition-1kデータセットを用いて学習。これにより、現実世界の画像劣化に対する耐性が向上する。
• 共有エンコーダと、アルファマットと前景色推定のための別々のデコーダを持つ二本のブランチアーキテクチャを採用。これにより、共同最適化が可能になる。
• データオーグメンテーションによる色の変化を考慮し、拡張データを用いる際には、標準の合成損失を置き換える。これにより、ラベル不一致を回避する。

実験結果

リサーチクエスチョン

• RQ1 高品質でない多様なガイドマスク（トリマップ、バイナリセグメンテーション、ソフトなアルファマットなど）を用いても、タスク固有の微調整なしに、ディーブラーニングマッティングモデルが一般化可能か。
• RQ2 自己ガイドドなプログレッシブリファインメントは、髪の毛や毛布のような詳細な領域におけるマッティング品質の向上にどの程度有効か。
• RQ3 ランダムアルファブレンドングによる合成データ生成は、前景色推定の精度をどの程度向上させ、合成時のフレーミングを低減できるか。
• RQ4 本手法は、実世界および合成ベンチマークにおいて、最先端のトリマップベースおよびトリマップフリーのマッティングモデルと比較して、どの程度優れているか。
• RQ5 ガイドマスクへの変換（例：エロージョンやディレイション）に対して、ロバストなマッティングフレームワークが一貫した性能を維持できるか。

主な発見

• MGマッティングは、合成データ（Composition-1k）および実世界のベンチマークにおいて、全画像で平均SAD 8.01、MSE 0.0095、詳細領域でSAD 5.94、MSE 0.0637という最先端の性能を達成した。
• ガイドマスクの摂動に対しても一貫した性能を維持する。マスクを30ピクセルエロードした場合でも、SADは26.8から27.4にわずかに上昇するにとどまり、強い耐性を示す。
• トリマップフリー手法BSHM [27] と比較して、MGマッティングは全画像でMSE（0.0095 vs. 0.0155）とSAD（8.01 vs. 10.66）が著しく低い結果を達成した。
• 提案されたランダムアルファブレンドング（RAB）手法により、前景色推定の精度が向上し、追加のアノテーションなしで合成画像におけるフレーミングアーチファクトが低減された。
• 未学習のガイドタイプ（低品質なアルファマットや粗いバイナリマスク）に対しても、良好な一般化性能を示し、特定のガイドタイプに特化して学習した手法を上回った。
• 公開された高品質な実世界マッティングベンチマークデータセットにより、現実の状況下でのマッティングモデルの信頼性ある評価が可能となり、従来の研究で不足していた点を補った。