[논문 리뷰] Learning discriminative trajectorylet detector sets for accurate skeleton-based action recognition

Ruizhi Qiao, Lingqiao Liu외 2명|arXiv (Cornell University)|2015. 04. 20.

Human Pose and Action Recognition참고 문헌 28인용 수 4

한 줄 요약

이 논문은 짧은 시간 간격 내에서 정적 및 동적 운동을 캡처하는 로컬 기술자인 트래잭터릿(trajec­torylets)과 예시-SVM을 통해 학습된 분류 성능이 뛰어난 검출기 집합을 조합한, 뼈대 기반 동작 인식 프레임워크를 제안한다. 이 방법은 MSR Action3D 및 MSR DailyActivity 데이터셋에서 최신 기술을 압도적으로 뛰어넘는 성능을 달성하며, L=5 트래잭터릿과 학습된 검출기 집합을 사용하여 MSR Action3D에서 95.9%의 정확도를 기록한다.

ABSTRACT

The introduction of low-cost RGB-D sensors has promoted the research in skeleton-based human action recognition. Devising a representation suitable for characterising actions on the basis of noisy skeleton sequences remains a challenge, however. We here provide two insights into this challenge. First, we show that the discriminative information of a skeleton sequence usually resides in a short temporal interval and we propose a simple-but-effective local descriptor called trajectorylet to capture the static and kinematic information within this interval. Second, we further propose to encode each trajectorylet with a discriminative trajectorylet detector set which is selected from a large number of candidate detectors trained through exemplar-SVMs. The action-level representation is obtained by pooling trajectorylet encodings. Evaluating on standard datasets acquired from the Kinect sensor, it is demonstrated that our method obtains superior results over existing approaches under various experimental setups.

연구 동기 및 목표

• 행동 인식에서 노이즈가 많고 시간에 따라 변화하는 뼈대 시퀀스로부터 분류 성능이 뛰어난 특징을 추출하는 데 도전한다.
• 전체 시퀀스나 단일 프레임이 아닌, 짧고 정보가 풍부한 시간 간격에 초점을 맞춰 행동 인식 성능을 향상시킨다.
• 핵심 트래잭터릿 패턴을 위한 전문화된 검출기 집합을 학습하여 강건하고 분류 성능이 뛰어난 표현 방식을 개발한다.
• 기존의 bag-of-features 방법을 뛰어넘는 새로운 특징 학습 프레임워크를 통해 뼈대 기반 행동 인식에서 최고의 성능을 달성한다.

제안 방법

• 짧은 간격(L=3,5,7) 동안 정적 자세, 상대적 관절 이동 거리, 속도 및 선택적 가속도를 캡처하는 로컬 기술자인 트래잭터릿을 도입한다.
• 긍정적인 트래잭터릿 샘플에 대해 예시-SVM을 적용하여 대량의 후보 트래잭터릿 검출기 훈련을 수행한다.
• 학습된 트래잭터릿에 대한 성능 평가를 통해 분류 성능이 뛰어난 검출기를 선별하고, 중복성을 제거하기 위해 클러스터링을 수행한다.
• 선택된 검출기의 검출 점수를 각 트래잭터릿의 코딩 벡터로 사용하여 분류 성능이 뛰어난 특징 표현을 구성한다.
• 시퀀스 전반에 걸쳐 트래잭터릿 코딩 벡터를 풀링하며, 장기적인 시간적 맥락을 캡처하기 위해 선택적으로 시간 피라미드 풀링을 적용한다.
• 비교를 위해 표준 특징 학습 기반 방법(VLAD, LLC, LSC)을 사용하며, 코드북 크기 K=128 및 이웃 수 κ=10을 설정한다.

실험 결과

연구 질문

• RQ1 짧은 시간 간격 내에서 정적 및 동적 운동을 모두 캡처하는 로컬 기술자가 뼈대 기반 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 대량의 후보 집합에서 학습된 분류 성능이 뛰어난 트래잭터릿 검출기 집합을 사용할 경우, 기존의 특징 코딩 방법보다 더 나은 행동 표현이 가능한가?
• RQ3 트래잭터릿 간격의 길이가 인식 성능에 어떤 영향을 미치는가?
• RQ4 트래잭터릿 기술자에서 어떤 구성 요소(예: 자세, 이동 거리, 속도)가 분류 성능에 가장 기여하는가?
• RQ5 제안된 검출기 집합 프레임워크는 다양한 행동 데이터셋에 일반화되어 있으며, 최신 기술적 특징 학습 기법을 능가하는가?

주요 결과

• 제안된 방법은 MSR Action3D 데이터셋에서 95.9%의 정확도를 달성하여 이전 최고 기술을 크게 뛰어넘는다.
• L=5 트래잭터릿을 사용할 경우 최고의 성능를 기록하며, 이는 중간 길이의 시간 간격이 분류 성능이 뛰어난 운동 패턴을 최적으로 캡처할 수 있음을 시사한다.
• 정적 자세(x₀)와 동적 구성요소(x₁, x₂)의 조합이 가장 높은 성능를 기록하지만, 가속도(x₃)를 추가해도 성능 향상이 없다.
• 학습된 검출기 집합을 사용한 프레임워크는 VLAD, LLC, LSC를 모두 능가하여 MSR DailyActivity에서 75.0%의 정확도를 기록했으며, LSC는 66.9%, VLAD는 51.9%였다.
• 시각화 결과는 검출기 집합이 다양한 행동 클래스에서 손을 뻣는, 손을 치는 등의 대표적인 운동 패턴을 효과적으로 식별함을 확인한다.
• 절단 분석 결과, 동적 구성요소(x₁ 또는 x₂)만을 사용할 경우 성능이 열악한데, 이는 정적 및 동적 신호를 모두 조합하는 것이 필수적임을 시사한다.