[論文レビュー] Human Extraction and Scene Transition utilizing Mask R-CNN

Minkesh Asati, Worranitta Kraisittipong+1 more|arXiv (Cornell University)|Jul 20, 2019

Advanced Neural Network Applications参考文献 7被引用数 6

ひとこと要約

本論文では、マスクR-CNNを用いて、遮蔽がある状況下でも複数人の人物を正確にインスタンス分類することで、画像および動画における人物抽出とシーン遷移を実現する手法を提案する。本手法は5 fpsのリアルタイム性能を達成しており、ユーザーが個々の人物を抽出し、新しい背景に合成することで、家族や友人の幸せな瞬間を収集した、洗練されたビジュアルコレクションの作成が可能である。

ABSTRACT

Object detection is a trendy branch of computer vision, especially on human recognition and pedestrian detection. Recognizing the complete body of a person has always been a difficult problem. Over the years, researchers proposed various methods, and recently, Mask R-CNN has made a breakthrough for instance segmentation. Based on Faster R-CNN, Mask R-CNN has been able to generate a segmentation mask for each instance. We propose an application to extracts multiple persons from images and videos for pleasant life scenes to grouping happy moments of people such as family or friends and a community for QOL (Quality Of Life). We likewise propose a methodology to put extracted images of persons into the new background. This enables a user to make a pleasant collection of happy facial expressions and actions of his/her family and friends in his/her life. Mask R-CNN detects all types of object masks from images. Then our algorithm considers only the target person and extracts a person only without obstacles, such as dogs in front of the person, and the user also can select multiple persons as their expectations. Our algorithm is effective for both an image and a video irrespective of the length of it. Our algorithm does not add any overhead to Mask R-CNN, running at 5 fps. We show examples of yoga-person in an image and a dancer in a dance-video frame. We hope our simple and effective approach would serve as a baseline for replacing the image background and help ease future research.

研究の動機と目的

• 犬などの物体による遮蔽を含む複雑なシーンから複数人の人物を抽出する堅牢な手法を開発すること。
• インスタンス分類を用いて高精度に人物インスタンスを分離することで、シームレスな背景置換えを実現すること。
• ユーザーが複数人の人物を選択して、幸せな瞬間をテーマにしたパーソナライズドなビジュアルストーリーテリングを可能にすること。
• マスクR-CNNの基本アーキテクチャに追加の計算負荷を加えずに、リアルタイム性能を維持すること。
• 将来的な人物中心の画像および動画編集分野における研究の簡単で効果的なベースラインを提供すること。

提案手法

• 人物検出のためのピクセル単位のマスクを生成するために、インスタンス分類のバックボーンモデルとしてマスクR-CNNを採用する。
• クラスラベルに基づいて非人物オブジェクト（例：犬）を除外し、人物インスタンスのみをフィルタリング・保持する後処理を適用する。
• ユーザーが複数のターゲット人物を手動または自動で選択できるように、ユーザー主導の選択メカニズムを実装する。
• 画像合成技術を適用して、選択された人物マスクを新しい背景画像や動画フレームに移動する。
• 静止画像と動画シーケンスの両方を一貫して処理し、動画応用においてフレーム間の一貫性を保つ。
• 推論速度を5フレーム毎秒に最適化することで、マスクR-CNNアーキテクチャの変更なしにリアルタイム性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 マスクR-CNNは、犬などの物体による遮蔽を伴う複雑なシーンから複数人の人物を効果的に抽出できるか？
• RQ2 画像および動画において、ごみだらけの背景から人物インスタンスをどれほど正確に分離できるか？
• RQ3 リアルタイム応用において、マスクR-CNNを人物抽出およびシーン遷移に拡張する際の性能オーバーヘッドはどの程度か？
• RQ4 ユーザーが複数人の人物を選択的に抽出し、新しいシーンに合成することで、視覚的品質を保持できるか？
• RQ5 提案手法は、将来的な人物中心の画像および動画編集タスクにおける実用的で効率的なベースラインとして適しているか？

主な発見

• 本手法は、犬などの物体に部分的に遮られても、画像および動画から複数人の人物インスタンスを正常に抽出できる。
• システムは5フレーム毎秒のリアルタイム性能を維持しており、追加の計算コストを伴わず動画処理に適している。
• ユーザーが定義した人物選択により、幸せな瞬間のパーソナライズドなビジュアルコレクションの柔軟な作成が可能である。
• 顔の表情や体のポーズを保持したまま、高品質なマスク転送により、新しい背景への合成を実現している。
• ヨガポーズをとる静止画像や、ダイナミックなダンスシーケンスを含む多様なシーンにおいて、本手法は頑健であることが示された。
• 結果から、本手法が将来的な人物中心の画像および動画編集分野における実用的で効率的なベースラインとして適していることが確認された。