[논문 리뷰] Sliding Dictionary Based Sparse Representation For Action Recognition

Yashas Annadani, D. L. Rakshith외 1명|arXiv (Cornell University)|2016. 11. 01.

Human Pose and Action Recognition참고 문헌 21인용 수 6

한 줄 요약

이 논문은 3D 뼈대 관절을 사용한 동작 인식을 위한 슬라이딩 딕셔너리 기반 희소 표현 방법을 제안하며, 시간 인식 딕셔너리에서의 재구성 오차와 프레임 수준의 관절 이탈 특징을 점수 수준 융합하는 방식을 결합한다. 이 방법은 부분적인 시퀀스가 존재하는 상황에서도 오프라인 및 온라인 설정 모두에서 강력한 성능을 보이며, UTK 데이터셋에서 88.89%의 정확도와 UTD 데이터셋에서 79.07%의 정확도를 기록한다.

ABSTRACT

The task of action recognition has been in the forefront of research, given its applications in gaming, surveillance and health care. In this work, we propose a simple, yet very effective approach which works seamlessly for both offline and online action recognition using the skeletal joints. We construct a sliding dictionary which has the training data along with their time stamps. This is used to compute the sparse coefficients of the input action sequence which is divided into overlapping windows and each window gives a probability score for each action class. In addition, we compute another simple feature, which calibrates each of the action sequences to the training sequences, and models the deviation of the action from the each of the training data. Finally, a score level fusion of the two heterogeneous but complementary features for each window is obtained and the scores for the available windows are successively combined to give the confidence scores of each action class. This way of combining the scores makes the approach suitable for scenarios where only part of the sequence is available. Extensive experimental evaluation on three publicly available datasets shows the effectiveness of the proposed approach for both offline and online action recognition tasks.

연구 동기 및 목표

• 3D 뼈대 관절을 사용한 오프라인 및 온라인 동작 인식을 위한 통합 프레임워크를 개발한다.
• 시간 스탬프가 부여된 훈련 데이터를 슬라이딩 딕셔너리에 통합하여 시간적 비일치성과 부분적 시퀀스 인식 문제를 해결한다.
• 희소 재구성 오차와 관절 이격 보정 특징의 두 가지 상호보완적 특징을 융합하여 인식의 강인성을 향상시킨다.
• 최소한의 지연으로 실시간이고 누적 가능한 신뢰도 점수를 제공하여 온라인 동작 인식을 가능하게 한다.
• 실제 온라인 시나리오를 시뮬레이션하기 위해 부분적 데이터 가용성 하에서 표준 벤치마크에서의 효과성을 입증한다.

제안 방법

• 시간 스탬프가 부여된 훈련 시퀀스를 사용해 시간 역동성을 모델링하는 슬라이딩 딕셔너리를 구축한다.
• 입력 동작 시퀀스를 겹치는 시간 창으로 나누어 프레임 수준 분석을 수행한다.
• 각 창에 대해 딕셔너리를 사용해 희소 계수를 계산하고, 재구성 오차 기반의 확률 점수를 각 동작 클래스별로 유도한다.
• 시험 시퀀스가 훈련 시퀀스에서 벗어나는 정도를 모델링하는 프레임 수준의 관절 이탈 특징을 도입한다.
• 각 창에서 재구성 오차 특징과 이격 특징의 점수 수준 융합을 수행하여 신뢰도 점수를 산출한다.
• 새로운 프레임이 도착함에 따라 가용한 모든 창의 점수를 누적적으로 집계하여 온라인 신뢰도 누적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 스탬프가 부여된 훈련 데이터를 기반으로 한 슬라이딩 딕셔너리가 부분적 시퀀스 가용성 하에서도 동작 인식의 강인성을 향상시킬 수 있는가?
• RQ2 희소 재구성 오차와 관절 이격 특징의 융합이 동작 분류에 얼마나 효과적인가?
• RQ3 제안된 방법이 전체 시퀀스의 일부만 존재할 경우 온라인 인식에서 정확도를 얼마나 유지하는가?
• RQ4 누적 신뢰도 점수 기반 메커니즘이 온라인 동작 인식에서 신뢰할 수 있는 조기 예측을 가능하게 하는가?
• RQ5 표준 3D 동작 인식 벤치마크에서 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 딕셔너리에 공분산 기술자를 입력으로 사용하여 UTK 데이터셋에서 88.89%의 인식 정확도와 UTD 데이터셋에서 79.07%의 정확도를 달성한다.
• 전체 프레임의 10%만 가용할 경우 UTK 데이터셋에서 59.6%의 정확도를 기록하여 강력한 조기 예측 능력을 보여준다.
• 전체 시퀀스 길이의 약 70%에서 최대 성능의 약 90%에 도달하며, 부분적 시퀀스 인식이 효과적임을 입증한다.
• 정확한 동작 클래스의 신뢰도 점수는 더 많은 프레임이 도착할수록 지속적으로 증가하는 반면, 잘못된 클래스는 감소하여 신뢰할 수 있는 온라인 의사결정이 가능하다.
• 오프라인에서 온라인으로 전환할 경우 정확도가 거의 감소하지 않아, 부분 데이터에 대한 원활한 적응성을 확인한다.
• UTD, UT Kinect, MSRC-12를 포함한 다양한 데이터셋에서 높은 성능을 유지하여 일반화 및 강인성을 입증한다.