[論文レビュー] MODNet-V: Improving Portrait Video Matting via Background Restoration

Jiayu Sun, Zhanghan Ke+3 more|arXiv (Cornell University)|Sep 24, 2021

Image Enhancement Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、動的な背景復元モジュール（BRM）を用いて、過去の動画フレームから背景を動的に復元することで、ポортレートマットイングを向上させる軽量な動画マットイングモデル、MODNet-Vを提案する。ユーザーが提供するトリマップや背景画像に依存せず、自己教師ありの背景事前知識を活用することで、MODNetの1/3のパラメータ数で優れた性能を達成し、単一のGPUでエンド・ツー・エンドの学習が可能であり、パッチ精錬モジュール（PRM）により高解像度の推論も可能となる。

ABSTRACT

To address the challenging portrait video matting problem more precisely, existing works typically apply some matting priors that require additional user efforts to obtain, such as annotated trimaps or background images. In this work, we observe that instead of asking the user to explicitly provide a background image, we may recover it from the input video itself. To this end, we first propose a novel background restoration module (BRM) to recover the background image dynamically from the input video. BRM is extremely lightweight and can be easily integrated into existing matting models. By combining BRM with a recent image matting model, MODNet, we then present MODNet-V for portrait video matting. Benefited from the strong background prior provided by BRM, MODNet-V has only 1/3 of the parameters of MODNet but achieves comparable or even better performances. Our design allows MODNet-V to be trained in an end-to-end manner on a single NVIDIA 3090 GPU. Finally, we introduce a new patch refinement module (PRM) to adapt MODNet-V for high-resolution videos while keeping MODNet-V lightweight and fast.

研究の動機と目的

• ユーザーがトリマップや背景画像を提供できないリアルタイム応用において、ポートレート動画マットイングの課題に対処すること。
• 手動でトリマップをラベル付けするか、事前にキャプチャされた背景画像に依存することを排除し、動的またはリアルタイムな状況では費用がかかり、現実的でない問題を解消すること。
• 時間的整合性を活用して動的な背景事前知識を再構築することで、マットイングの性能と安定性を向上させること。
• 高解像度動画に適した効率的でスケーラブルな、軽量でエンド・ツー・エンドで学習可能なモデルを開発すること。

提案手法

• 連続する動画フレームから背景を段階的に更新・復元するための、潜在的背景特徴とバイナリマスクを維持する背景復元モジュール（BRM）を提案する。
• BRMをMODNetに統合し、MODNet-Vを構築する。復元された背景が、各フレームにおけるアルファマット予測の動的事前知識として機能する。
• 2段階の学習戦略を採用する：第1段階では、メモリ使用量を削減するため、フレームの一部（1st および Tth）で MODNet と BRM をエンド・ツー・エンドで学習する。第2段階では、高解像度データでパッチ精錬モジュール（PRM）をファインチューニングする。
• 信頼度しきい値（ξ=0.01）に基づき、高解像度パッチを効率的に精錬するパッチ精錬モジュール（PRM）を導入し、処理のオーバーヘッドを約6.5倍削減する。
• 組み合わせ損失関数を用いる：アルファマット予測のためのℒα と、背景再構築を監視するℒbg を使用し、境界領域に重みγを付けて強調する。
• 20枚の背景画像を1つの動画シーケンスに含む合成コンpositeを用いたマルチスケール学習スキームを採用し、背景の変動に強い性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 過去のフレームから動画フレームの背景を効果的に復元し、動画マットイングの事前知識として利用できるか？
• RQ2 ユーザーが提供するトリマップや背景画像を必要としない自己教師ありの背景復元機構は、それらを必要とするモデルを上回る性能を発揮できるか？
• RQ3 既存のマットイングモデルのアーキテクチャを変更せずに、軽量なBRMを統合可能であり、性能向上とモデルサイズの削減を達成できるか？
• RQ4 提案されたPRMは、顕著な計算コストを増大させることなく、高解像度動画に対して効率的かつ高品質な推論を可能にするか？
• RQ5 BRMとPRMの組み合わせにより、多様な実世界の動画シーケンスにおいて、より安定的かつ正確なマットイング結果が得られるか？

主な発見

• MODNet-Vは、実世界の動画マットイングデータセットでMAD 65.63×10⁻⁴、MSE 32.39×10⁻⁴を達成し、MODNet（MAD: 83.30×10⁻⁴、MSE: 34.05×10⁻⁴）を上回る性能を示した。
• MODNetのパラメータ数の1/3しか使用していないにもかかわらず、同等またはより優れた性能を達成しており、顕著なパラメータ効率性を示している。
• 第1段階の学習でフレームのサンプリング（1st および Tth）を採用したため、1台のNVIDIA 3090 GPUでバッチサイズ16でエンド・ツー・エンドの学習が可能となった。
• パッチ精錬モジュール（PRM）は、信頼度しきい値ξ=0.01に基づき、欠陥の可能性が15%のパッチのみを処理することで、処理のオーバーヘッドを約6.5倍削減した。
• 視覚的比較では、髪の毛などの困難な領域においても、MODNet-Vがより安定的かつ正確なアルファマットを生成しており、強化された背景事前知識のおかげであることが示された。
• BRMにより、時間経過とともに変化する背景に対しても、フレーム間で背景表現を継続的に更新することで、効果的な対応が可能となり、背景が変化する状況でも失敗を回避できた。