[논문 리뷰] Histogram of Oriented Principal Components for Cross-View Action Recognition

Hossein Rahmani, Arif Mahmood외 2명|arXiv (Cornell University)|2014. 09. 24.

Human Pose and Action Recognition참고 문헌 51인용 수 4

한 줄 요약

이 논문은 포인트클라우드 시퀀스에서 시점에 관계없이 동작을 인식하기 위해 방향성 주성분 히스토GRAM(HOPC)과 시공간 키포인트(STKs)를 제안한다. 국소 시공간 볼륨을 주성분에 정렬하고 고유벡터를 정이십면체에 투영함으로써 HOPC는 시점, 척도, 속도 변화에 대해 강건성을 확보하며, 다중시점 및 단일시점 데이터셋에서 9개의 최신 기법보다 뚜렷한 정확도 향상을 보였다.

ABSTRACT

Existing techniques for 3D action recognition are sensitive to viewpoint variations because they extract features from depth images which are viewpoint dependent. In contrast, we directly process pointclouds for cross-view action recognition from unknown and unseen views. We propose the Histogram of Oriented Principal Components (HOPC) descriptor that is robust to noise, viewpoint, scale and action speed variations. At a 3D point, HOPC is computed by projecting the three scaled eigenvectors of the pointcloud within its local spatio-temporal support volume onto the vertices of a regular dodecahedron. HOPC is also used for the detection of Spatio-Temporal Keypoints (STK) in 3D pointcloud sequences so that view-invariant STK descriptors (or Local HOPC descriptors) at these key locations only are used for action recognition. We also propose a global descriptor computed from the normalized spatio-temporal distribution of STKs in 4-D, which we refer to as STK-D. We have evaluated the performance of our proposed descriptors against nine existing techniques on two cross-view and three single-view human action recognition datasets. The Experimental results show that our techniques provide significant improvement over state-of-the-art methods.

연구 동기 및 목표

• 기존의 깊이 이미지에 의존하는 방법들이 시점에 민감한 점을 해결하기 위해 3D 포인트클라우드 시퀀스에서의 다중시점 동작 인식 문제에 대응한다.
• 다양한 시점, 척도, 동작 속도에서 형태와 운동을 강건하게 캡처할 수 있는 시점에 관계없는 局소 기하 기술자 개발.
• HOPC 기술자 추출에 최적화된 시점에 관계없는 구분력 있는 시공간 키포인트(STKs) 탐지.
• STK의 시공간 분포를 기반으로 한 글로벌 기술자 STK-D 도입으로 인식 성능 향상.
• 새로운 및 기존의 다중시점 및 단일시점 3D 동작 데이터셋에서 제안된 방법 평가하여 뛰어난 성능 입증.

제안 방법

• HOPC는 포인트클라우드의 국소 시공간 지원 볼륨의 세 개의 스케일링된 고유벡터를 정규 이십면체의 정점에 투영하여 계산되며, 국소 기하학적 및 운동 특성을 인코딩한다.
• STK 탐지는 고유비율 임계값을 사용하여 국소 구조가 유일한 점을 식별함으로써 다양한 시점에서 강건성과 구분력을 확보한다.
• 각 STK의 시공간 지원 볼륨을 주성분으로 정의된 국소 좌표계에 정렬함으로써 시점 불변성을 달성하고 방향을 정규화한다.
• 각 STK에서 다양한 시간 창 크기에서 고유비율 변동을 최소화하는 자동 시간 척도 선택을 통해 속도 불변성을 확보한다.
• 검출된 STK의 정규화된 4차원 시공간 분포에서 글로벌 STK-D 기술자를 계산하여 전체 동작 패턴을 캡처한다.
• STK에서의 국소 HOPC 기술자와 글로벌 STK-D 기술자를 조합하여 최종 동작 인식을 수행함으로써 국소 및 글로벌 정보의 보완적 활용.

실험 결과

연구 질문

• RQ1 3D 포인트클라우드 시퀀스에서 시점, 척도, 동작 속도 변화에 강건한 국소 기하 기술자를 설계할 수 있는가?
• RQ2 HOPC와 같은 시점에 관계없는 국소 기술자와 호환되는 방식으로 시공간 키포인트를 어떻게 탐지할 수 있는가?
• RQ3 국소 HOPC 기술자와 글로벌 STK-D 기술자를 조합할 경우 다중시점 동작 인식 정확도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 다중시점 및 단일시점 3D 동작 인식 벤치마크에서 최신 기술들과 비교해 어떻게 성능을 내는가?
• RQ5 특히 부분적 가시성 또는 비우뚝 선 자세와 같은 어려운 상황에서 뼈대 데이터에 의존하지 않고도 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 HOPC 및 STK 기반 방법은 노스웨스턴-유타(UCLA) 다중시점 액션3D 및 UWA3D 다중시점 활동 II 데이터셋에서 모두 최신 기술들을 뛰어넘는 최상의 성능을 기록하며, 기존 9개 기법보다 뚜렷한 성능 향상을 보였다.
• STK 수가 700까지 다양하더라도 안정적인 인식 정확도를 유지하였으며, 최적의 성능는 400개 STK에서 달성되어 키포인트 수 변화에 대한 강건성을 입증하였다.
• 고유비율 임계값 θ_STK가 1.1에서 1.5 사이일 경우 정확도가 안정적으로 유지되어 키포인트 탐지 파rameter 설정에 강건함을 입증하였다.
• 표준 컴퓨터에서 프레임당 평균 2초의 계산 시간을 기록하였으며, 가장 가까운 경쟁 기법인 AOG(프레임당 1.4초)보다 정확도는 뛰어나면서도 계산적으로 실현 가능하였다.
• 국소 HOPC 기술자와 STK-D 기술자를 조합한 결과, 각각의 기술자만 사용했을 때보다 더 높은 정확도를 달성하여 두 기술자의 보완적 성격을 확인하였다.
• 특히 부분적 가시성 또는 비우뚝 선 자세와 같은 상황에서 뼈대 기반 기법들인 HOJ3D와 LARP보다 뛰어난 성능를 보였으며, 이는 직접 포인트클라우드 처리와 관절 추정에 의존하지 않는 점에서 기인한다.