[論文レビュー] Flow-based Video Segmentation for Human Head and Shoulders

Zijian Kuang, Xinran Tie|arXiv (Cornell University)|Apr 20, 2021

Advanced Image Processing Techniques参考文献 10被引用数 6

ひとこと要約

本論文では、ホーン＝シュンクの光流を畳み込みニューラルネットワークと組み合わせることで、動きぼけ下でもリアルタイムで頑健な人間の頭部と肩の部分の動画セグメンテーションを可能にする、フローベースのエンコーダデコーダーネットワークであるFUNetを提案する。本モデルは独自のデータセットで平均Dice係数0.96を達成し、動的会議シーンにおいて従来手法を上回る性能を示した。

ABSTRACT

Video segmentation for the human head and shoulders is essential in creating elegant media for videoconferencing and virtual reality applications. The main challenge is to process high-quality background subtraction in a real-time manner and address the segmentation issues under motion blurs, e.g., shaking the head or waving hands during conference video. To overcome the motion blur problem in video segmentation, we propose a novel flow-based encoder-decoder network (FUNet) that combines both traditional Horn-Schunck optical-flow estimation technique and convolutional neural networks to perform robust real-time video segmentation. We also introduce a video and image segmentation dataset: ConferenceVideoSegmentationDataset. Code and pre-trained models are available on our GitHub repository: \url{https://github.com/kuangzijian/Flow-Based-Video-Matting}.

研究の動機と目的

• 頭部の振動や手の振り動作などの動きぼけ下でも正確な背景差分を実現する課題に取り組む。
• 前景オブジェクトが静止または動き続けている場合に失敗する、従来の背景差分手法（例：GMG、KNN）の限界を克服する。
• 綺麗な背景画像や多数の手動アノテーションを必要としない、リアルタイムでエンドツーエンドの動画セグメンテーションモデルを開発する。
• 人間の頭部と肩の部分の動画セグメンテーション分野における研究を支援するため、新しいベンチマークデータセット「ConferenceVideoSegmentationDataset」を構築する。
• 深層学習ベースの外観特徴と光流特徴を統合することで、動画セグメンテーションの頑健性と効率性を向上させる。

提案手法

• 連続する動画フレーム間の動き特徴を抽出するために、ホーン＝シュンクの光流法を採用する。
• 元のフレームからの外観特徴と動き特徴を、U-Netスタイルのエンコーダデコーダー構造を用いて統合する。
• 畳み込みニューラルネットワークを用いて、リアルタイムに人間の頭部と肩の前景マスクを予測する。
• 学習安定性を高めるために、BCE With Logits LossとRMSProp最適化法（初期値としての学習率0.0001、重み減衰1e-8、モーメンタム0.9）を実装する。
• マスク予測の精度を向上させるために、デコーダパスで光流特徴と外観特徴を連結する。
• 計算効率を向上させるために、訓練時にダウンスケーリング要因を適用する。将来的な調整が可能である。

実験結果

リサーチクエスチョン

• RQ1 古典的な光流と深層学習を組み合わせたハイブリッドモデルは、動きぼけ下でも動画セグメンテーションの頑健性を向上させることができるか？
• RQ2 動き特徴と外観特徴の統合は、動的会議シーンにおけるセグメンテーション精度をどのように向上させるか？
• RQ3 会議形式の動画から構築された独自データセットは、動画セグメンテーションモデルの一般化性能をどの程度向上させることができるか？
• RQ4 提案手法は、高解像度の背景画像や手動アノテーションを必要とせずにリアルタイム推論を達成できるか？
• RQ5 本モデルは、未知の背景や新たな前景対象を含む未学習の動画シーケンスにおいて、どの程度の性能を示すか？

主な発見

• 提案されたFUNetモデルは、テストセットで平均Dice係数0.96を達成しており、予測マスクと正解マスクの類似度が非常に高いことを示している。
• ヘッドムーブメントや手の振り動作などの動きぼけが生じる動画シーケンスにおいても、本モデルは頑健な性能を示しており、Zoomの背景置換機能など既存システムが失敗する場面でも有効である。
• ホーン＝シュンクの光流と深層学習の統合により、追加の教師信号や綺麗な背景入力が不要な動的認識セグメンテーションが実現可能である。
• 3600フレーム（10本のグリーンスクリーン会議動画から構成）からなる独自の「ConferenceVideoSegmentationDataset」は、モデルの有効な訓練と評価を可能にしている。
• BCE With Logits LossとRMSProp最適化法を用いてエンドツーエンドで学習が行われ、1枚のRTX 2080 Ti GPUでリアルタイム推論が達成された。
• 今後の課題として、実世界の会議録画データを用いたデータセットの拡張と、フレーム補間のためのソフトマックススプラッティングによる推論速度の向上を計画している。