[論文レビュー] Video Human Segmentation using Fuzzy Object Models and its Application to Body Pose Estimation of Toddlers for Behavior Studies

Thiago V. Spina, Mariano Tepper+5 more|arXiv (Cornell University)|May 29, 2013

Human Pose and Action Recognition参考文献 29被引用数 3

ひとこと要約

本論文では、2次元のスティックマンを用いて人間の身体部位と2次元ポーズを同時にセグメンテーションする拡張されたクラウドシステムモデル（CSM）を用いた、半自動の動画セグメンテーション手法を提案する。この手法により、自閉症の行動的兆候であるとされる歩行時の腕の非対称性を正確に検出可能となり、臨床的応用において、手動による初期化を1フレームに限定することで作業負荷を大幅に低減しつつ、専門家評価と強い相関を示す。

ABSTRACT

Video object segmentation is a challenging problem due to the presence of deformable, connected, and articulated objects, intra- and inter-object occlusions, object motion, and poor lighting. Some of these challenges call for object models that can locate a desired object and separate it from its surrounding background, even when both share similar colors and textures. In this work, we extend a fuzzy object model, named cloud system model (CSM), to handle video segmentation, and evaluate it for body pose estimation of toddlers at risk of autism. CSM has been successfully used to model the parts of the brain (cerebrum, left and right brain hemispheres, and cerebellum) in order to automatically locate and separate them from each other, the connected brain stem, and the background in 3D MR-images. In our case, the objects are articulated parts (2D projections) of the human body, which can deform, cause self-occlusions, and move along the video. The proposed CSM extension handles articulation by connecting the individual clouds, body parts, of the system using a 2D stickman model. The stickman representation naturally allows us to extract 2D body pose measures of arm asymmetry patterns during unsupported gait of toddlers, a possible behavioral marker of autism. The results show that our method can provide insightful knowledge to assist the specialist's observations during real in-clinic assessments.

研究の動機と目的

• オクルージョンや照明が悪い状況を含む、困難な条件下でもアーティキュレートされた人体のセグメンテーションを効果的に行う堅牢な手法の開発。
• 関係性を持つスティックマンモデルを用いて、2次元アーティキュレート人体を扱えるように、クラウドシステムモデル（CSM）フレームワークを拡張すること。
• 自閉症スペクトラム障害（ASD）の早期発見の臨床的応用を目的として、動画からの正確な半自動2次元身体ポーズ推定を可能にすること。
• 歩行時の非対称な運動行動（例：片腕の非対称な動き、平行な前腕の位置）といった、繰り返し見られる運動行動を定量化・検出することにより、乳児におけるASDの潜在的行動マーカーを特定すること。

提案手法

• 各人体部位（頭部、胴体、四肢など）を、形状のばらつきや境界位置の不確実性を捉える、ファジーオブジェクトクラウドとしてCSMに表現する。
• 個々の身体部位のクラウドを接続するための2次元スティックマンモデルを用い、関節の可動域と運動制約を符号化することで、フレーム間における解剖学的妥当性を維持する。
• スケールを複数用いたサーチを採用し、スティックマンモデルのパラメータを最適化することで、各動画フレームにおける真の身体部位とCSMクラウドを一致させる。
• セグメンテーションは、各サーチ位置におけるCSMの不確実性領域を評価することで実施され、形状、色、テクスチャの手がかりを用いて輪郭をガイドする。
• 最適化されたスティックマンの配置からポーズ推定が得られ、上腕および前腕の非対称性スコアが計算され、異常な運動パターンの検出が可能になる。
• 本手法は、1フレームのインタラクティブな初期化のみを要し、以降は自動的に動画全体にわたってセグメンテーションとポーズ推定が伝搬される。

実験結果

リサーチクエスチョン

• RQ1 自己遮蔽や変形が生じる状況下でも、CSMのようなファジーオブジェクトモデルが2次元アーティキュレート人体の処理に有効に拡張可能かどうか。
• RQ2 スティックマンの関係性モデルを組み合わせたCSMが、実世界の乳児動画シーケンスにおいて、正確かつ堅牢に同時にセグメンテーションと2次元ポーズ推定を実現できるか、その程度は。
• RQ3 計算された腕の非対称性スコアが、臨床的専門家による乳児の非支援歩行時の非対称性評価とどの程度相関しているか。
• RQ4 本手法が、自閉症の兆候としての可能性がある、微細な特徴的運動行動（例：非対称な腕の動き、平行な前腕の位置）を検出できるか。
• RQ5 1回の初期化フレームのみを要する本手法の半自動的特性が、外来診察での臨床的実用性に適しているかどうか。

主な発見

• 提案手法は、自己遮蔽、関節可動域、背景の雑音などに対しても、動画フレーム全体で高いセグメンテーション精度を達成した。
• 計算された腕の非対称性スコアは、専門家による視覚的評価と強く相関しており、臨床的妥当性と信頼性を示した。
• 1フレームの初期化のみを要するため、手動作業が大幅に削減され、以降のポーズ推定とセグメンテーションが動画全体に自動的に伝搬された。
• 自閉症と診断された乳児において、異常な歩行パターンと持続的な腕の非対称性が検出された。これは、診断支援ツールとしての潜在的価値を示唆している。
• 一部のケース（例：参加者#2）では誤検出が認められ、前腕の角度差が非対称性を示唆したが、最終的な非対称性スコアでは確認されなかった。これは、さらなる最適化の余地があることを示している。
• 本手法は、平行な前腕の位置といった特徴的運動行動を効果的に捉え、定量化できており、ASD関連のより広範な運動パターンの検出に有用である可能性を示している。