[論文レビュー] Quantifying Human Behavior on the Block Design Test Through Automated Multi-Level Analysis of Overhead Video

Seung-Hwan Cha, James Ainooson+1 more|arXiv (Cornell University)|Nov 18, 2018

Spatial Cognition and Navigation被引用数 6

ひとこと要約

本論文は、上部からのRGB映像と自動化されたコンピュータビジョンを用いたAI駆動フレームワークを提示し、視覚空間的推論を評価する標準的神経心理学的検査であるブロックデザインテスト（BDT）における人間の行動を定量的に分析する。このシステムは、自動ブロック識別システム（ABIS）とブロック順序を用いた認知分析（CABS）モジュールから構成され、フレーム単位でのブロック配置の追跡と誤り検出を可能にし、CABSは臨床的用途のための誤り回数や反応時間などのパフォーマンス指標の可視化を生成する。

ABSTRACT

The block design test is a standardized, widely used neuropsychological assessment of visuospatial reasoning that involves a person recreating a series of given designs out of a set of colored blocks. In current testing procedures, an expert neuropsychologist observes a person's accuracy and completion time as well as overall impressions of the person's problem-solving procedures, errors, etc., thus obtaining a holistic though subjective and often qualitative view of the person's cognitive processes. We propose a new framework that combines room sensors and AI techniques to augment the information available to neuropsychologists from block design and similar tabletop assessments. In particular, a ceiling-mounted camera captures an overhead view of the table surface. From this video, we demonstrate how automated classification using machine learning can produce a frame-level description of the state of the block task and the person's actions over the course of each test problem. We also show how a sequence-comparison algorithm can classify one individual's problem-solving strategy relative to a database of simulated strategies, and how these quantitative results can be visualized for use by neuropsychologists.

研究の動機と目的

• 従来のブロックデザインテスト（BDT）実施では主に神経心理学的判断に依存するため、客観的でリアルタイムの行動指標が不足しているという問題に対処すること。
• BDT実施中にブロック配置、誤り、移動順序などの詳細なフレーム単位の行動データを捉える自動化されたシステムを開発すること。
• 神経心理学専門家がAIから得られる指標を用いて、問題解決戦略やパフォーマンスパターンの定量的で可視化可能な要約にアクセスできるようにすること。
• 低コストのセンサデータを用いた臨床的および研究的現場での視覚空間的認知のスケーラブルで客観的な評価の基盤を築くこと。

提案手法

• 参加者がBDTを実施する様子を天井に設置されたRGBカメラで上部から映像撮影し、緑色のテーブルと大きなブロックを用いて検出精度を向上させる。
• 再トレーニングしたSSD MobileNetモデルを用いたTensorFlow Object Detection APIを活用し、手の位置を検出するとともに、IoU閾値 > 0.3 を満たすフレームを手の遮蔽があると判断して除外する。
• OpenCVを用いた幾何的変換により、視点歪みを補正し、ターゲットデザインの青い輪郭を局所化してブロックの位置決めを行う。
• 補正済み画像をn×nのサブ画像に分割し、さらに各サブ画像を4つの四分円に分割して、ピクセルの色分布に基づきブロックの色と向き（例：NW、NE）を分類する。
• CABSシステムを実装し、ブロック順序データを分析。固定位置でのブロックラベルの変化を検出し、誤りを特定し、反応時間、空間的距離、進行パターンなどの指標を算出する。
• 臨床的解釈や個々の被験者間の比較を支援するため、誤り回数と完了時間の相関を示す散布図などの可視化を生成する。

実験結果

リサーチクエスチョン

• RQ1 上部からのRGB映像を用いた自動コンピュータビジョン技術は、ブロックデザインテストにおけるブロック配置や移動をリアルタイムで正確に検出・分類できるか？
• RQ2 AIベースの分析は、BDTパフォーマンスにおける誤り、反応時間、問題解決戦略といった行動的特徴をどの程度定量的に評価できるか？
• RQ3 ブロック順序から導出される定量的指標（例：誤り頻度、移動パターン）は、完了時間やパフォーマンス品質とどの程度相関するか？
• RQ4 提案されたフレームワークは、正確性や所要時間以上の認知行動の客観的で可視化可能な要約を臨床的神経心理学専門家が得られるように支援できるか？

主な発見

• ABISシステムは、部分的遮蔽や視点歪みといった困難な状況下でも、フレーム単位でのブロック位置と向きの検出に成功した。
• CABSシステムは、時間経過に伴い固定位置でのブロックラベルの変化（例：NWブロックをNEブロックに交換）を検出し、誤りの自動カウントを可能にした。
• 被験者Aは被騟能Bよりも著しく速くパズルを完了し、誤りも少なかった。CABSの可視化により、1つのパズルで20以上の誤りを犯した被験者Cのようなパフォーマンスの外れ値が明確に識別された。
• 誤り回数と完了時間の散布図から、被験者間で明確なパフォーマンスパターンの差が認められ、被験者Cは誤り頻度と所要時間の両面で顕著な外れ値であった。
• 7名の大学生被験者を用いた概念実証研究において、アノテート済みの映像データと模擬戦略を用いた比較により、本フレームワークの実現可能性が示された。
• 検出の堅牢性と認知的洞察を向上させるため、今後の重要な改善点として、深度データや眼動追跡などの追加センサモalityの統合が同定された。