[論文レビュー] MODNet: Real-Time Trimap-Free Portrait Matting via Objective Decomposition

Zhanghan Ke, Jiayu Sun+3 more|arXiv (Cornell University)|Nov 24, 2020

Image Enhancement Techniques被引用数 5

ひとこと要約

MODNet は、トリマップやマルチステージ推論を必要とせず、最先端の性能を達成する軽量でリアルタイムのポートレートマットイングネットワークである。1枚の入力画像のみを用いて、明示的な制約を用いて複数のサブオブジェクティブを同時に最適化する。効率的なアトロス空間的プールイング（e-ASPP）モジュールと自己教師付きサブオブジェクティブ一貫性（SOC）戦略を採用することで、効率性と頑健性を向上させ、1080Ti GPUで67 FPSを達成し、Adobeおよび新たに提案されたPPM-100ベンチマークにおいて、先行するトリマップフリー手法を上回っている。

ABSTRACT

Existing portrait matting methods either require auxiliary inputs that are costly to obtain or involve multiple stages that are computationally expensive, making them less suitable for real-time applications. In this work, we present a light-weight matting objective decomposition network (MODNet) for portrait matting in real-time with a single input image. The key idea behind our efficient design is by optimizing a series of sub-objectives simultaneously via explicit constraints. In addition, MODNet includes two novel techniques for improving model efficiency and robustness. First, an Efficient Atrous Spatial Pyramid Pooling (e-ASPP) module is introduced to fuse multi-scale features for semantic estimation. Second, a self-supervised sub-objectives consistency (SOC) strategy is proposed to adapt MODNet to real-world data to address the domain shift problem common to trimap-free methods. MODNet is easy to be trained in an end-to-end manner. It is much faster than contemporaneous methods and runs at 67 frames per second on a 1080Ti GPU. Experiments show that MODNet outperforms prior trimap-free methods by a large margin on both Adobe Matting Dataset and a carefully designed photographic portrait matting (PPM-100) benchmark proposed by us. Further, MODNet achieves remarkable results on daily photos and videos. Our code and models are available at https://github.com/ZHKKKe/MODNet, and the PPM-100 benchmark is released at https://github.com/ZHKKKe/PPM.

研究の動機と目的

• コストの高い補助入力やマルチステージパイプラインを回避するリアルタイムでトリマップフリーのポートレートマットイング手法の開発。
• 実世界データへの一般化を向上させることで、トリマップフリーのマットイングにおけるドメインシフト問題に対処すること。
• 複数のマットイングサブオブジェクティブを同時に最適化する軽量でシングルステージのネットワークを設計し、より高い効率性と正確性を実現すること。
• 多様で実世界のポートレート画像を対象とした、公平な評価が可能な新しい高品質ベンチマーク（PPM-100）を確立すること。

提案手法

• MODNet は、明示的な制約を用いて、1枚のRGB入力のみで、複数のマットイングサブオブジェクティブ（例：フォアグラウンド、バックグラウンド、アルファ予測）を同時に最適化するシングルステージアーキテクチャを採用する。
• 標準ASPPの1%にまでパラメータ数とFLOPsを削減する、効率的なアトロス空間的プールイング（e-ASPP）モジュールを導入し、マルチスケール特徴抽出の性能を同等に維持する。
• e-ASPPモジュールは、チャネル削減、マルチスケール特徴抽出、特徴融合、チャネル間融合を実行することで、意味的推定を高速化する。
• 訓練中に予測されたサブオブジェクティブ同士の一貫性を強制することで、ドメインシフトの影響を低減する自己教師付きサブオブジェクティブ一貫性（SOC）戦略を提案する。
• モデルはエンドツーエンドで学習され、複雑なパイプラインや補助監視を必要とせず、効率的な最適化が可能になる。
• 本手法は、Adobeマットイングデータセットおよび、多様な実世界のポートレート画像を対象とした新しい高品質なPPM-100ベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 シングルステージでトリマップフリーのポートレートマットイングネットワークは、高精度を維持しながらリアルタイム推論を達成できるか？
• RQ2 ポートレートマットイングにおいて、意味的表現を損なわず、マルチスケール特徴融合をどのように効率化できるか？
• RQ3 サブオブジェクティブ間の自己教師付き一貫性は、実世界データへの一般化を向上させ、ドメインシフトを低減できるか？
• RQ4 提案手法は、既存のトリマップフリーおよびマルチステージアプローチと比較して、速度、正確性、頑健性の面で優れているか？
• RQ5 新しい高品質なベンチマークは、ポートレートマットイング評価の公平性と再現可能性を向上させられるか？

主な発見

• MODNet は、512×512の入力でGTX 1080Ti GPU上で67フレーム毎秒の推論速度を達成し、同時代の手法を大きく上回っている。
• Adobeマットイングデータセットでは、平均二乗誤差（MSE）が0.0082、平均絶対差（MAD）が0.0157を記録し、先行するトリマップフリー手法を上回っている。
• 自己教師付きSOC戦略を用いることで、CRGNN-RベンチマークではMSEが0.0033、MADが0.0084にまで低下し、より高い頑健性を示している。
• 新たに提案されたPPM-100ベンチマークでは、最先端のパフォーマンスを達成し、多様で実世界のポートレート画像に対する有効性が検証された。
• 背景の変化に強いことから、動的シーン（例：背景に移動する物体が入り込む）においても、バックグラウンドマットイング（BM）を上回っている。
• e-ASPPモジュールは、標準ASPPの1%にまでパラメータ数とFLOPsを削減しながらも、競争力ある性能を維持しており、その効率性が実証された。