[논문 리뷰] Video Human Segmentation using Fuzzy Object Models and its Application to Body Pose Estimation of Toddlers for Behavior Studies

Thiago V. Spina, Mariano Tepper외 5명|arXiv (Cornell University)|2013. 05. 29.

Human Pose and Action Recognition참고 문헌 29인용 수 3

한 줄 요약

이 논문은 인간의 신체 부위와 2D 자세를 동시에 분할하기 위해 확장된 클라우드 시스템 모델(CSM)과 2D 스틱맨을 사용하는 반자동 영상 분할 방법을 제안한다. 이는 유아에서 자폐증의 행동 지표로 여겨지는 보행 중 팔 비대칭성을 정확하게 탐지할 수 있게 하며, 전문가 평가와 강한 상관관계를 유지하면서도 수동 작업을 단일 프레임 초기화로 줄여 임상적 유용성을 높인다.

ABSTRACT

Video object segmentation is a challenging problem due to the presence of deformable, connected, and articulated objects, intra- and inter-object occlusions, object motion, and poor lighting. Some of these challenges call for object models that can locate a desired object and separate it from its surrounding background, even when both share similar colors and textures. In this work, we extend a fuzzy object model, named cloud system model (CSM), to handle video segmentation, and evaluate it for body pose estimation of toddlers at risk of autism. CSM has been successfully used to model the parts of the brain (cerebrum, left and right brain hemispheres, and cerebellum) in order to automatically locate and separate them from each other, the connected brain stem, and the background in 3D MR-images. In our case, the objects are articulated parts (2D projections) of the human body, which can deform, cause self-occlusions, and move along the video. The proposed CSM extension handles articulation by connecting the individual clouds, body parts, of the system using a 2D stickman model. The stickman representation naturally allows us to extract 2D body pose measures of arm asymmetry patterns during unsupported gait of toddlers, a possible behavioral marker of autism. The results show that our method can provide insightful knowledge to assist the specialist's observations during real in-clinic assessments.

연구 동기 및 목표

• 자기 음영, 가림, 어두운 조명 등의 도전적인 조건에서도 관절이 있는 인간 신체를 안정적으로 분할할 수 있는 방법을 개발하는 것.
• 관절이 있는 2D 신체를 다룰 수 있도록 클라우드 시스템 모델(CSM) 프레임워크를 확장하여 관계 기반의 스틱맨 모델을 사용해 신체 부위 간 연결성을 유지하는 것.
• 임상 응용을 위한 유아 자폐 스펙트럼 장애(ASD) 조기 진단을 위해 영상에서 정확한 반자동 2D 신체 자세 추정을 가능하게 하는 것.
• 스스로 보행하는 동안의 반복적 운동 행동, 예를 들어 팔 비대칭성과 같은 행동 지표를 정량화하고 탐지하여 자폐 스펙트럼 장애의 잠재적 행동 지표로 활용하는 것.

제안 방법

• 각 인간 신체 부위(예: 머리, 흉부, 사지 등)를 흐린 객체 클라우드로 표현하여 형태 변형과 경계 위치의 불확실성을 포괄하는 CSM을 확장한다.
• 개별 신체 부위 클라우드를 연결하기 위해 2D 스틱맨 모델을 사용하여 관절 구조와 운동 제약 조건을 표현함으로써, 프레임 간에 해부학적 타당성을 유지한다.
• 스케일을 다중으로 적용하여 스틱맨 모델의 파라미터를 최적화하고, 각 영상 프레임에서 진짜 신체 부위와 CSM 클라우드가 정렬되도록 한다.
• 분할은 각 검색 위치에서 CSM의 불확실성 영역을 평가하여 수행되며, 형태, 색상, 질감 정보를 활용해 경계를 안내한다.
• 자세 추정은 최적화된 스틱맨 구성에서 유도되며, 상지와 전완의 비대칭성 점수를 계산하여 비정상적인 운동 패tern을 탐지한다.
• 이 방법은 단일 상호작용 초기화 프레임만 필요로 하며, 이후에는 영상 시퀀스 전반에 걸쳐 자동으로 분할과 자세 추정이 진행된다.

실험 결과

연구 질문

• RQ1 자기 음영과 가림 등으로 인해 변형이 발생하는 상황에서도 CSM과 같은 흐린 객체 모델이 2D 관절이 있는 인간 신체를 효과적으로 다룰 수 있는가?
• RQ2 스틱맨 관계 모델을 갖춘 CSM이 실제 유아 영상 시퀀스에서 정확하고 강력한 동시에 분할과 2D 자세 추정을 수행할 수 있는 정도는 어느 정도인가?
• RQ3 계산된 팔 비대칭성 점수가 유아의 스스로 보행 중 비대칭성에 대한 임상 전문가 평가와 얼마나 높은 상관관계를 보이는가?
• RQ4 이 방법은 비대칭적인 팔 움직임이나 평행한 전완 위치와 같은 잠재적인 반복적 운동 행동을 미세하게 탐지하여 자폐 스펙트럼 장애의 조기 지표로 활용할 수 있는가?
• RQ5 단일 초기화 프레임만 필요로 하는 반자동 방식이 진료소 평가에서 임상적으로 실용적인가?

주요 결과

• 제안된 방법은 영상 프레임 간에 자가 음영, 관절 운동, 배경 혼잡함을 효과적으로 처리하면서도 높은 정확도로 인간 신체를 분할하였다.
• 계산된 팔 비대칭성 점수는 전문가의 시각적 평가와 강한 상관관계를 보이며 임상적 타당성과 신뢰성을 입증하였다.
• 단일 프레임 초기화만으로도 수동 작업을 크게 줄였고, 이후 자세와 분할이 영상 전반에 걸쳐 자동으로 전파되었다.
• 이 방법은 후에 자폐 스펙트럼 장애로 진단된 유아에서 비정상적인 보행과 지속적인 팔 비대칭성을 탐지하여 진단 보조 도구로서의 잠재력을 입증하였다.
• 일부 사례에서는 잘못된 양성 결과가 관찰되었는데, 예를 들어 참가자 #2의 경우 전완 각도의 차이로 인해 비대칭성이 나타났으나 최종 비대칭성 점수에서는 확인되지 않아 향후 개선 여지가 있음을 시사하였다.
• 이 방법은 평행한 전완 위치와 같은 반복적 운동 행동을 성공적으로 포착하고 정량화하여 자폐 스펙트럼 장애 관련 운동 패턴의 더 넓은 범위 탐지에 유용할 가능성을 보였다.