[논문 리뷰] Covariance of Motion and Appearance Featuresfor Spatio Temporal Recognition Tasks

Subhabrata Bhattacharya, Nasim Souly외 1명|arXiv (Cornell University)|2016. 06. 16.

Human Pose and Action Recognition참고 문헌 13인용 수 5

한 줄 요약

이 논문은 시공간적 특징의 공분산 행렬을 사용하여 운동 및 외관 특징의 동시 통계를 캡처하는 새로운 비디오 서술자(Descriptor)를 제안한다. 이는 인공지능 행동 및 제스처 인식에 있어 강건한 성능을 보이며, 제2차 통계 모델링과 리emannian 다양체 상의 희소 코딩을 통해 CGD 2011 데이터셋에서 1-shot 제스처 인식에서 74.3% 평균 정확도를 기록하여 HOG-HOF, MBH, STIP 기준선을 초월한다.

ABSTRACT

In this paper, we introduce an end-to-end framework for video analysis focused towards practical scenarios built on theoretical foundations from sparse representation, including a novel descriptor for general purpose video analysis. In our approach, we compute kinematic features from optical flow and first and second-order derivatives of intensities to represent motion and appearance respectively. These features are then used to construct covariance matrices which capture joint statistics of both low-level motion and appearance features extracted from a video. Using an over-complete dictionary of the covariance based descriptors built from labeled training samples, we formulate low-level event recognition as a sparse linear approximation problem. Within this, we pose the sparse decomposition of a covariance matrix, which also conforms to the space of semi-positive definite matrices, as a determinant maximization problem. Also since covariance matrices lie on non-linear Riemannian manifolds, we compare our former approach with a sparse linear approximation alternative that is suitable for equivalent vector spaces of covariance matrices. This is done by searching for the best projection of the query data on a dictionary using an Orthogonal Matching pursuit algorithm. We show the applicability of our video descriptor in two different application domains - namely low-level event recognition in unconstrained scenarios and gesture recognition using one shot learning. Our experiments provide promising insights in large scale video analysis.

연구 동기 및 목표

• 기존 행동 인식 방법들이 운동 및 외관 특징를 별개로 다루어 동시 통계적 관계를 상실하는 한계를 해결한다.
• 저수준의 운동 및 외관 특징 간의 공분산을 캡처하는 통합된 비디오 서술자를 개발하여 분류 능력을 향상시킨다.
• 리emannian 다양체 상의 희소 표현에 적합한 분류 능력 있고 컴act한 서술자를 구성함으로써, 제스처 인식에 효과적인 1-shot 학습을 가능하게 한다.
• 대칭 양의 정합 행렬의 다양체 상에서 희소 근사 문제를 수식화하여, 공분산 행렬을 다룰 때 발생하는 계산적 및 기하학적 과제를 해결한다.
• 제한된 학습 데이터가 존재하는 상황에서도, 특히 대규모 비디오 분석에서 제안된 서술자의 효과성을 입증한다.

제안 방법

• 각 픽셀에서 광학 흐름(운동)과 일阶 및 이阶 강도 도함수(외관)로부터 운동 특징를 추출한다.
• 이 16차원 특징 벡터를 사용하여 각 비디오 클립에 대해 16×16 공분산 행렬을 구성함으로써, 운동 및 외관 특징의 제2차 동시 통계를 캡처한다.
• 공분산 행렬의 상부 삼각행렬에 로그를 취한 후, 각 클립에 대해 136차원의 서술자를 얻는다.
• 대칭 양의 정합 행렬의 리emannian 다양체 상에서 결정형 최대화(MAXDET 최적화)를 사용하여 분류 문제를 희소 근사 문제로 수식화한다.
• 학습 서술자 딕셔너리에 쿼리 공분산 행렬을 투영하기 위해 벡터 공간 대안과 비교하기 위해 수직 매칭 퇴적(OMP)을 사용한다.
• 최종 비디오 수준의 분류를 위해 클립 수준의 투표 전략을 적용하며, 최근접 이웃 또는 희소 코딩 기반 추론을 사용한다.

실험 결과

연구 질문

• RQ1 공분산 행렬을 통해 표현된 운동 및 외관 특징의 동시 통계는 별개로 융합하는 것보다 인간 행동 및 제스처 인식 성능을 향상시키는가?
• RQ2 단일 학습 예제당 하나의 제스처 클래스가 존재하는 1-shot 학습 시나리오에서 제안된 공분산 서술자는 얼마나 효과적인가?
• RQ3 대칭 양의 정합 행렬의 리emannian 다양체 상에서 공분산 행렬을 모델링하는 것이 표준 벡터 공간 희소 코딩보다 분류 성능을 향상시키는가?
• RQ4 운동, 강도 기울기 및 위치 정보의 다양한 조합은 서술자의 분류 능력에 어떻게 영향을 미치는가?
• RQ5 제안된 서술자는 각 클래스당 최소한의 데이터를 가진 다양한 비제약 비디오 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 LCOV 서술자는 CGD 2011 1-shot 제스처 인식 벤치마크에서 평균 정확도 74.3%를 기록하여, MBH(66.7%), STIP(25.0%), TPM(34.7%) 기준선을 크게 뛰어넘었다.
• 운동 특징에 강도 기울기 및 위치 정보를 융합함으로써 정확도가 11% 향상되어, 다중 모odal 특징 융합의 중요성을 입증했다.
• 특정 개발 배치(예: Devel05)에서는 최대 100%의 높은 정확도를 기록하여, 극소수의 학습 데이터로도 강력한 일반화 능력을 보였다.
• 시각화 결과, HOG-HOF에 비해 3차원 공간에서 더 명확하고 분리 가능한 클러스터를 형성함으로써, 더 뛰어난 분류 능력을 가짐을 시사했다.
• MAXDET 최적화를 사용한 리emannian 희소 코딩 접근법이 표준 벡터 공간 OMP 대안보다 뛰어난 성능을 보여, 다양체 기반 수식의 기하학적 적합성을 검증했다.
• 혼동 행렬 분석 결과, 10개의 개발 배치 전반에서 일관된 성능을 보이며 주요 제스처 클래스에서 높은 정확도를 기록하여, 실제 환경에서의 강건성과 신뢰성을 확인했다.