[論文レビュー] Computer vision tools for the non-invasive assessment of autism-related behavioral markers

Jordan Hashemi, Thiago V. Spina+5 more|arXiv (Cornell University)|Oct 25, 2012

Autism Spectrum Disorder Research参考文献 20被引用数 17

ひとこと要約

本稿では、ビデオ分析を用いて乳児および幼児の自閉症関連行動マーカーを自動的に検出するコンピュータビジョンツールを提示している。視覚的注意と歩行の非対称性に焦点を当て、カスタム形状モデルを用いた顔面特徴追跡と2次元ボディポーズ推定を組み合わせることで、高い正確性で視覚的注意と腕の非対称性を定量化し、臨床的および研究的現場における早期自閉症スクリーニングのための客観的で非侵襲的な評価を提供する。

ABSTRACT

The early detection of developmental disorders is key to child outcome, allowing interventions to be initiated that promote development and improve prognosis. Research on autism spectrum disorder (ASD) suggests behavioral markers can be observed late in the first year of life. Many of these studies involved extensive frame-by-frame video observation and analysis of a child's natural behavior. Although non-intrusive, these methods are extremely time-intensive and require a high level of observer training; thus, they are impractical for clinical and large population research purposes. Diagnostic measures for ASD are available for infants but are only accurate when used by specialists experienced in early diagnosis. This work is a first milestone in a long-term multidisciplinary project that aims at helping clinicians and general practitioners accomplish this early detection/measurement task automatically. We focus on providing computer vision tools to measure and identify ASD behavioral markers based on components of the Autism Observation Scale for Infants (AOSI). In particular, we develop algorithms to measure three critical AOSI activities that assess visual attention. We augment these AOSI activities with an additional test that analyzes asymmetrical patterns in unsupported gait. The first set of algorithms involves assessing head motion by tracking facial features, while the gait analysis relies on joint foreground segmentation and 2D body pose estimation in video. We show results that provide insightful knowledge to augment the clinician's behavioral observations obtained from real in-clinic assessments.

研究の動機と目的

• 乳児および幼児における自閉症スペクトラム障害（ASD）の早期発見を支援する、自動的かつ非侵襲的なコンピュータビジョンツールの開発。
• 臨床的および大規模な研究において時間的に費やすことの多い、観察者依存の行動評価の限界を克服すること。
• 特に視覚的注意と歩行の非対称性を含む、自閉症観察尺度（AOSI）の主要な行動マーカーを定量化すること。
• 専門的訓練を受けない一般医および臨床医が、ビデオデータを用いて客観的かつ繰り返し可能な評価を実施できること。
• 自動化されたビデオ分析を通じて、新たな行動マーカーのスケーラブルでデータ駆動型の発見の基盤を築くこと。

提案手法

• システムは、最初のフレームにおける1つのインタラクティブセグメンテーションマスクから構築されたカスタム形状モデル（CSM）を用いた2次元ボディポーズ推定を利用する。
• 関連する前景セグメンテーションと密な光流を用いて、ビデオフレーム間でのボディの運動を追跡し、ポーズ推定の再初期化を実現する。
• CSMモデルは、体幹から始まる階層的構造を尊重するアフィン変換を用いて変形される。
• 腕の非対称性は、絶対的な関節角の差に基づく正規化スコア関数を用いて定量化され、しきい値はτ=45°およびστ=τ/3に設定されている。
• 全体的な腕の非対称性スコアAS*は、上腕と前腕の非対称性スコアの最大値として定義され、ポーズと肢節の動きの違いの両方に感度を確保する。
• 前腕の全角（f̂）は、方向性の非対称性を評価するために用いられ、非対称なポーズを検出するための絶対差のしきい値は45°である。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョン技術は、ビデオデータを用いて乳児の視覚的注意行動を正確かつ自動的に測定できるか？
• RQ2 2次元ボディポーズ推定と形状モデリングを用いることで、自閉症を示唆する微細な運動的非対称性を幼児において検出できるか？
• RQ3 gaitおよび肢節運動の自動分析は、手動観察と比較して、自閉症の早期発見をどの程度向上させられるか？
• RQ4 半自動システムは、臨床現場における行動評価に要する時間と専門知識をどの程度削減できるか？
• RQ5 AOSIベースのマーカーと新規の歩行分析を統合することで、早期ASDスクリーニングの感度と特異度は向上するか？

主な発見

• カスタム形状モデルと光流に基づく再初期化を用いることで、システムはビデオシーケンス全体にわたり頭部の運動とボディポーズを効果的に追跡した。
• 腕の非対称性スコアAS*は、非対称なポーズを効果的に捉えており、1.0に近い値は上腕または前腕の位置の高い非対称性を示している。
• 限定的な初期ユーザー入力でも、セグメンテーションとボディポーズ推定の両方で頑健な性能を発揮し、臨床現場での実用的導入を可能にした。
• 角度差に基づく正規化非対称性スコアの使用により、多様なポーズにおいて一貫した肢節非対称性の定量化が可能になった。
• AOSIベースの視覚的注意指標と歩行非対称性分析の統合により、早期ASD検出のためのマルチモーダルで客観的な評価フレームワークが提供された。
• 本手法により、大規模なスクリーニングおよび研究応用に適したスケーラブルで繰り返し可能かつ非侵襲的な行動評価が可能になった。