[논문 리뷰] Quantifying Human Behavior on the Block Design Test Through Automated Multi-Level Analysis of Overhead Video

Seung-Hwan Cha, James Ainooson외 1명|arXiv (Cornell University)|2018. 11. 18.

Spatial Cognition and Navigation인용 수 6

한 줄 요약

이 논문은 시각적 공간 인지 능력 평가의 표준으로 사용되는 블록 설계 검사(BDT) 동안 인간 행동을 정량적으로 분석하기 위해 천장에 장착된 RGB 비디오와 자동화된 컴퓨터 비전 기술을 활용하는 AI 기반 프레임워크를 제시한다. 이 시스템은 자동 블록 식별 시스템(ABIS)과 블록 순서 분석을 통한 인지 분석(CABS) 모듈로 구성되며, 블록 놓기와 오류 탐지를 프레임 단위로 추적할 수 있고, CABS는 임상적 활용을 위해 오류 수와 반응 시간과 같은 성능 지표의 시각화를 생성한다.

ABSTRACT

The block design test is a standardized, widely used neuropsychological assessment of visuospatial reasoning that involves a person recreating a series of given designs out of a set of colored blocks. In current testing procedures, an expert neuropsychologist observes a person's accuracy and completion time as well as overall impressions of the person's problem-solving procedures, errors, etc., thus obtaining a holistic though subjective and often qualitative view of the person's cognitive processes. We propose a new framework that combines room sensors and AI techniques to augment the information available to neuropsychologists from block design and similar tabletop assessments. In particular, a ceiling-mounted camera captures an overhead view of the table surface. From this video, we demonstrate how automated classification using machine learning can produce a frame-level description of the state of the block task and the person's actions over the course of each test problem. We also show how a sequence-comparison algorithm can classify one individual's problem-solving strategy relative to a database of simulated strategies, and how these quantitative results can be visualized for use by neuropsychologists.

연구 동기 및 목표

• 기존 블록 설계 검사(BDT) 시행 방식이 주로 주관적인 신경정신과적 판단에 의존함에 따라 실시간으로 객관적인 행동 지표가 부족한 문제를 해결하기 위해.
• BDT 수행 중 블록 놓기, 오류, 이동 순서와 같은 세부적인, 프레임 단위의 행동 데이터를 캡처하는 자동화된 시스템을 개발하기 위해.
• 신경정신과 전문의가 AI 기반 지표를 통해 문제 해결 전략과 성능 패턴의 정량적이고 시각화 가능한 요약을 접근할 수 있도록 하기 위해.
• 저비용 센서 데이터를 활용하여 임상 및 연구 현장에서 시각적 공간 인지 능력을 확장 가능하고 객관적인 평가 기반을 마련하기 위해.

제안 방법

• 참가자가 BDT를 수행하는 동안 천장에 장착된 RGB 카메라를 활용해 상방면 비디오를 촬영하며, 녹색 테이블 표면과 더 큰 블록을 사용하여 탐지 정확도를 향상시킴.
• TensorFlow 객체 검출 API를 사용하고 재학습된 SSD MobileNet 모델을 적용하여 손과의 가림 현상(occlusion)을 탐지하고, IoU 임계값 > 0.3를 초과하는 프레임을 필터링함.
• OpenCV 기반 기하학적 변환을 적용하여 시점 왜곡을 보정하고, 목표 디자인의 파란 테두리 위치를 정확히 국소화함.
• 보정된 이미지를 n×n의 하위 영역으로 나누고, 각 하위 영역을 다시 4분면으로 나누어 픽셀 색상 분포 기반으로 블록 색상과 방향(예: NW, NE)을 분류함.
• CABS 시스템을 구현하여 블록 순서 데이터를 분석하고, 고정된 위치에서 레이블 변화를 통해 오류를 탐지하며 반응 시간, 공간 거리, 진행 패턴과 같은 지표를 계산함.
• 임상적 해석과 개인 간 비교를 지원하기 위해 오류 수와 완료 시간 간 상관관계를 분석하는 산점도 등 다양한 시각화를 생성함.

실험 결과

연구 질문

• RQ1 천장에 장착된 RGB 비디오를 활용한 자동화된 컴퓨터 비전 기법이 실시간으로 BDT 수행 중 블록 놓기와 이동을 정확하게 탐지하고 분류할 수 있는가?
• RQ2 AI 기반 분석이 BDT 성과에서 오류, 반응 시간, 문제 해결 전략과 같은 행동 특징을 얼마나 정량적으로 측정할 수 있는가?
• RQ3 블록 순서에서 유도된 정량적 지표(예: 오류 빈도, 이동 패턴)가 완료 시간과 성과 품질과 어떻게 상관관계가 있는가?
• RQ4 제안된 프레임워크가 정확도와 시간 이외의 행동 패턴에 대한 객관적이고 시각화 가능한 요약을 신경정신과 전문의가 활용할 수 있도록 지원할 수 있는가?

주요 결과

• ABIS 시스템은 부분적인 가림과 시점 왜곡과 같은 도전적인 조건에서도 프레임 단위의 블록 위치 및 방향 탐지에 성공함.
• CABS 시스템은 고정된 위치에서 시간이 지남에 따라 레이블 변화를 탐지함으로써 오류를 식별하고, 자동으로 오류 수를 세는 데 성공함.
• 참가자 A는 참가자 B보다 훨씬 빠르게 퍼즐을 완료했고 오류 수도 적었으며, CABS 시각화 결과에서 참가자 C처럼 한 퍼즐에서 20개 이상의 오류를 범한 성과 이질성을 명확히 드러냄.
• 오류 수 대비 완료 시간의 산점도 분석에서 참가자 간에 뚜렷한 성과 패턴이 드러났으며, 한 명의 참가자(C)는 오류 빈도와 지속 시간 모두에서 주요 이질성으로 나타남.
• 7명의 대학생 참가자를 대상으로 한 개념 증명 연구에서, 주석이 달린 비디오 데이터와 시뮬레이션된 전략을 비교하여 프레임워크의 실현 가능성을 입증함.
• 감도 향상과 인지적 통찰을 제고하기 위해 향후 주요 개선 과제로 깊이 데이터 및 눈동자 추적 기능과 같은 추가 센서 모달리티 통합이 필요하다고 지적됨.