[논문 리뷰] Segmental Spatio-Temporal CNNs for Fine-grained Action Segmentation and Classification

Colin Lea, Austin Reiter외 2명|arXiv (Cornell University)|2016. 02. 09.

Human Pose and Action Recognition인용 수 3

한 줄 요약

이 논문은 장면 객체 및 관계를 위한 공간 컨볼루션 네트워크(spatial CNNs), 시간에 따른 동적 변화를 위한 시간 컨볼루션 네트워크(temporal CNNs), 그리고 동작 전이 모델링을 위한 준-마르코프 모델(semi-Markov model)를 통합한 세그멘테이션 스펙트로-시계열 CNN 모델을 제안한다. 이 방법은 빠른 동시 동작 세그멘테이션 및 분류를 가능하게 하여 요리 및 외과 동작 데이터셋에서 최신 기술 수준의 성능을 달성하며, 추론 속도가 크게 향상되었다.

ABSTRACT

Joint segmentation and classification of fine-grained actions is important for applications in human-robot interaction, video surveillance, and human skill evaluation. However, despite substantial recent progress in large scale action classification, the performance of state-of-the-art fine-grained action recognition approaches remains low. In this paper, we propose a new spatio-temporal CNN model for fine-grained action classification and segmentation, which combines (1) a spatial CNN to represent objects in the scene and their spatial relationships; (2) a temporal CNN that captures how object relationships within an action change over time; and (3) a semi-Markov model that captures transitions from one action to another. In addition, we introduce an efficient segmental inference algorithm for joint segmentation and classification of actions that is orders of magnitude faster than state-of-the-art approaches. We highlight the effectiveness of our approach on cooking and surgical action datasets for which we observe substantially improved performance relative to recent baseline methods.

연구 동기 및 목표

• 대규모 동작 분류 분야의 발전에도 불구하고 세분화된 동작 인식 성능이 낮은 문제에 대응한다.
• 인간-로봇 상호작용 및 영상 감시 응용 분야를 위해 세분화된 동작의 동시 세그멘테이션 및 분류를 가능하게 한다.
• 기존 방법과 비교해 계산 시간을 크게 줄이는 효율적인 추론 알고리즘을 개발한다.
• 동작의 공간적 관계와 시계적 동역학을 향상시켜 인식 정확도를 높인다.
• 비디오 시퀀스에서 명확한 동작 간 전이를 더 잘 포착하기 위해 준-마르코프 모델을 통합한다.

제안 방법

• 각 프레임 내의 객체 및 그들의 공간적 구성 요소를 나타내는 특징을 추출하기 위해 공간 컨볼루션 네트워크를 사용한다.
• 객체 간 관계가 시간에 따라 어떻게 변화하는지 모델링하기 위해 시간 컨볼루션 네트워크를 적용한다. 이는 운동 및 상호작용의 동역학을 포착한다.
• 공유된 표현을 통해 공간적 및 시간적 특징을 결합하여 엔드 투 엔드 학습을 가능하게 한다.
• 행동 경계 및 전이를 모델링하기 위해 준-마르코프 모델을 활용하여 세그먼트 수준의 예측을 가능하게 한다.
• 기존 방법 대비 수십만 배 빠른 동시 세그멘테이션 및 분류를 가능하게 하는 새로운 세그멘테이션 추론 알고리즘을 설계한다.
• 비디오 수준의 레이블을 사용한 약한 지도 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 공간적 관계와 시간적 동역학을 동시에 모델링하는 통합된 스펙트로-시계열 CNN 아키텍처가 세분화된 동작 인식 성능 향상에 기여할 수 있는가?
• RQ2 표준 CRF나 RNN 기반 접근 방식과 비교해 준-마르코프 모델이 동작 전이를 얼마나 효과적으로 포착하는가?
• RQ3 새로운 세그멘테이션 추론 알고리즘이 정확도를 유지하면서도 유의미하게 빠른 추론을 가능하게 하는가?
• RQ4 제안된 방법이 요리 및 외과 동작을 위한 벤치마크 데이터셋에서 최신 기술 수준의 접근 방식을 초월하는가?
• RQ5 공간적 및 시간적 특징 표현이 세그멘테이션 및 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 최근 기준 방법들과 비교해 요리 및 외과 동작 데이터셋에서 상당히 향상된 성능을 달성한다.
• 세그멘테이션 추론 알고리즘이 최신 기술 수준의 방법들보다 수십만 배 빠르며, 실시간 또는 거의 실시간 추론을 가능하게 한다.
• 공간적, 시간적, 준-마르코프 모델링의 통합은 더 정확한 동작 경계 검출 및 분류를 이끈다.
• 이전 방법들이 성능을 발휘하지 못하는 세분화된 동작 인식 작업에서 모델이 강력한 일반화 능력을 보였다.
• 제거 실험(ablation study) 결과, 공간적 및 시간적 모델링 구성 요소가 전체 성능 향상에 기여한다는 것이 확인되었다.