[논문 리뷰] Online Action Recognition based on Incremental Learning of Weighted Covariance Descriptors

Chang Tang, Pichao Wang외 1명|arXiv (Cornell University)|2015. 11. 10.

Human Pose and Action Recognition참고 문헌 46인용 수 3

한 줄 요약

이 논문은 뼈대 데이터를 위한 가중치가 부여된 공분산 기술자에 대한 증분 학습을 사용하여 온라인 행동 인식 방법을 제안한다. 이는 최근이고 정보가 풍부한 프레임에 더 높은 중요도를 부여함으로써 실시간으로 높은 정확도를 달성한다. 시간이 지남에 따라 공분산 기술자를 효율적으로 갱신함으로써, MSC-12 Kinect Gesture 및 새로 수집한 온라인 데이터셋에서 실시간 인식을 가능하게 하며, 기존의 슬라이딩 윈도우 및 프레임 수준의 접근 방식을 뛰어넘는 성능을 보인다.

ABSTRACT

Different from traditional action recognition based on video segments, online action recognition aims to recognize actions from unsegmented streams of data in a continuous manner. One way for online recognition is based on the evidence accumulation over time to make predictions from stream videos. This paper presents a fast yet effective method to recognize actions from stream of noisy skeleton data, and a novel weighted covariance descriptor is adopted to accumulate evidence. In particular, a fast incremental updating method for the weighted covariance descriptor is developed for accumulation of temporal information and online prediction. The weighted covariance descriptor takes the following principles into consideration: past frames have less contribution for recognition and recent and informative frames such as key frames contribute more to the recognition. The online recognition is achieved using a simple nearest neighbor search against a set of offline trained action models. Experimental results on MSC-12 Kinect Gesture dataset and our newly constructed online action recognition dataset have demonstrated the efficacy of the proposed method.

연구 동기 및 목표

• 행동 경계가 알려져 있지 않은 비분할 영상 스트림에서 실시간 행동 인식의 과제를 해결하기 위해.
• 최근이고 특징적인 프레임에 더 높은 가중치를 할당하여 온라인 인식에서 시간 모델링을 향상시키기 위해.
• 실시간 증거 누적에 적합한 효율적인 증분 학습 메커니즘을 개발하기 위해.
• 사전 훈련된 행동 모델에 대한 간단한 최근접 이웃 검색을 사용하여 정확한 온라인 인식을 달성하기 위해.

제안 방법

• 이 방법은 최근이고 정보가 풍부한 프레임에 더 높은 중요도를 할당하는 가중치가 부여된 공분산 기술자를 사용하며, 이는 중립 자세에서의 이격도에 기반한다.
• 완전 재계산 없이 시간이 지남에 따라 가중치가 부여된 공분산 기술자를 효율적으로 유지하기 위해 증분 업데이트 규칙을 유도한다.
• 관절이 수동으로 선택한 중립 자세에서 평균 상대 거리로 프레임 가중치를 계산하여 중립 자세의 영향을 억제한다.
• 새로운 프레임을 포함하면서 오래된 프레임의 기여도를 감쇠 인자 η를 통해 감쇠시키는 재귀 공식을 사용하여 공분산 기술자를 갱신한다.
• 이 방법은 사전 훈련된 행동 모델을 가정하고, 이러한 모델에 대한 최근접 이웃 분류를 통한 온라인 추론을 사용한다.
• 고정된 윈도우 크기 문제를 피하기 위해 시간 순서와 특징성에 따라 동적으로 프레임 중요도를 조정한다.

실험 결과

연구 질문

• RQ1 고정된 슬라이딩 윈도우에 의존하지 않고 온라인 행동 인식에서 시간적 일관성을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 스트림 내 프레임을 어떻게 가중치를 두어야 최근이고 특징적인 프레임이 인식에 더 크게 기여할 수 있는가?
• RQ3 공분산 기술자의 증분 학습이 뼈대 시퀀스에서 빠르고 정확한 온라인 행동 인식을 가능하게 할 수 있는가?
• RQ4 정확도와 강건성 측면에서 제안된 방법은 프레임 수준 및 슬라이딩 윈도우 기반 접근 방식과 어떻게 비교되는가?
• RQ5 노이즈가 많고 분할되지 않은 데이터가 있는 실제 온라인 행동 인식 시나리오에 대해 이 방법은 잘 일반화될 수 있는가?

주요 결과

• 제안된 방법은 온라인 행동 인식 분야에서 MSC-12 Kinect Gesture 데이터셋에서 최고 성능을 달성한다.
• 이 방법은 노이즈가 많은 뼈대 데이터에 대해 강건성을 보이며, 행동 경계가 사전 정의되어 있지 않은 경우에도 높은 정확도를 유지한다.
• 중립 자세에서의 이격도에 기반한 프레임 가중치 부여는 중립 자세의 영향을 억제함으로써 인식 성능을 크게 향상시킨다.
• 증분 업데이트 메커니즘이 실시간 추론을 가능하게 하며, 낮은 계산 오버헤드를 제공하여 온라인 배포에 적합하다.
• 이중 프레임 수준 및 슬라이딩 윈도우 기반 접근 방식보다 뛰어나며, 겹치는 행동이나 장시간 지속되는 행동이 있는 시나리오에서 특히 두각을 나타낸다.
• 제거 실험을 통해 프레임 가중치 부여와 증분 학습이 성능에 핵심적임을 확인하였으며, 제거 시 정확도가 크게 떨어진다.