[論文レビュー] Robust High-Resolution Video Matting with Temporal Guidance

Shanchuan Lin, Linjie Yang+2 more|arXiv (Cornell University)|Aug 25, 2021

Image Enhancement Techniques被引用数 13

ひとこと要約

本稿では、時間的整合性と耐障害性を向上させるための時間的ガイダンスを備えた再帰的アーキテクチャを用いた軽量でリアルタイムな動画マットイング手法を提案する。マットイングとセマンティックセグメンテーションの目的関数を同時に学習することで、トリマップや事前にキャプチャされた背景を必要とせずに、4K動画を76 FPS、HDを104 FPSで処理する最先端の性能を達成する。

ABSTRACT

We introduce a robust, real-time, high-resolution human video matting method that achieves new state-of-the-art performance. Our method is much lighter than previous approaches and can process 4K at 76 FPS and HD at 104 FPS on an Nvidia GTX 1080Ti GPU. Unlike most existing methods that perform video matting frame-by-frame as independent images, our method uses a recurrent architecture to exploit temporal information in videos and achieves significant improvements in temporal coherence and matting quality. Furthermore, we propose a novel training strategy that enforces our network on both matting and segmentation objectives. This significantly improves our model's robustness. Our method does not require any auxiliary inputs such as a trimap or a pre-captured background image, so it can be widely applied to existing human matting applications.

研究の動機と目的

• トリマップや背景画像などの補助入力を必要とせず、時間的整合性と耐障害性を向上させたリアルタイムで高解像度の動画マットイング手法の開発。
• フレームごとのマットイング手法が時間的整合性を無視し、ちらつきやアーチファクトを引き起こすという限界を解消すること。
• マットイングとセマンティックセグメンテーションの目的関数を共同で学習させることで、合成データ分布への過学習を低減し、モデルの汎化能力を向上させること。
• ビデオ会議やコンテンツ作成などの実世界の応用に実用的に導入可能であることを保証するため、高速な推論と高品質な結果を実現すること。

提案手法

• 時間的依存性をモデル化するために隠れ状態を活用する再帰的ニューラルネットワークアーキテクチャを採用し、時間的整合性を向上させる。
• マットイング予測とセマンティックセグメンテーションの両方を同時に最適化する新しいトレーニング戦略を導入し、実世界の変動に対する耐障害性を強化する。
• 高解像度のアルファマット予測の精緻さを保ちながら、再帰的デコーダー特徴を用いた深層ガイドフィルタ（DGF）を適用して微細なディテールを強化する。
• 効率的な特徴抽出と高解像度出力を実現するため、軽量なMobileNetV3ベースのエンコーダーにLR-ASPPを採用する。
• 合成マットイングデータと実際の画像セグメンテーションの監視を組み合わせたトレーニングパイプラインを設計し、ドメインギャップを低減する。
• トリマップや事前にキャプチャされた背景といった外部入力を排除し、即挿し可能（plug-and-play）なデプロイメントを可能にする。

Figure 1 : Our network consists of a feature-extraction encoder, a recurrent decoder, and Deep Guided Filter (DGF) module. To process high-resolution videos, the input is first downsampled for the encoder-decoder network, then DGF is used to upsample the result.

実験結果

リサーチクエスチョン

• RQ1 フレーム独立手法と比較して、再帰的アーキテクチャは高解像度動画マットイングにおける時間的整合性を顕著に改善できるか？
• RQ2 マットイングとセマンティックセグメンテーションの目的関数を共同で学習させることで、実世界の動画変動への耐障害性が向上し、合成データへの過学習が低減するか？
• RQ3 背景再構築が困難な動的背景や複雑なシーンにおいて、提案手法はどの程度の性能を示すか？
• RQ4 標準的なガイドフィルタと比較して、深層ガイドフィルタ（DGF）はディテールの正確性と時間的整合性をどの程度向上させるか？
• RQ5 軽量モデルが4KおよびHD動画でリアルタイム推論を維持しつつ、最先端の性能を達成できるか？

主な発見

• NVIDIA GTX 1080Tiを用いて、4K動画で76 FPS、HD動画で104 FPSの処理速度を達成し、以前の手法を上回るスピードとモデル効率性を実現した。
• COCO検証セットにおける人間セグメンテーションで61.50 mIOUを達成し、実画像に対する強い耐障害性を示した。
• セグメンテーション目的関数を共同で学習させることで汎化能力が向上：アルファ値が0.5を超える閾値処理時、COCOで60.88 mIOUを達成した（セグメンテーション監視なしで学習した場合の38.24 mIOUと比較）。
• 深層ガイドフィルタ（DGF）は、FGFと比較してGradスコアを1.38ポイント向上させ、dtSSDを0.25低減した。これは、より優れたディテールの正確性と時間的整合性を示している。
• 動的背景では、BGMv2（誤合致により失敗）とMODNetを上回り、MAD（7.50 vs. 11.23）とMSE（2.80 vs. 5.65）が低くなった。
• ResNet50バックボーンと拡張されたデコーダーチャネルを備えたより大きなモデルは、102.9 MBのメモリ使用量で71.1 FPSを達成し、MAD（5.81）、Grad（9.65）の指標が向上した。これは、サーバーサイド用途へのスケーラビリティを示している。

(a) Alpha Detail