[논문 리뷰] Mining Mid-level Features for Action Recognition Based on Effective Skeleton Representation

Pichao Wang, Wanqing Li외 3명|arXiv (Cornell University)|2014. 09. 14.

Human Pose and Action Recognition참고 문헌 23인용 수 11

한 줄 요약

이 논문은 Kinect로 측정한 뼈대 데이터에서 중위 특징을 추출하여 3D 인간 동작 인식을 위한 새로운 방법을 제안한다. 각 지지부의 방향성을 이산적인 공간 상태로 모델링하고, 이를 부분으로 군집화한 후 빈도 패턴 추출을 통해 특징적이고 대표적이며 중복되지 않는 '빈도 높은 국소 부분(Frequent Local Parts, FLPs)'를 식별한다. 이러한 FLPs는 강력한 bag-of-FLP 표현을 구성하는 데 사용되며, MSR DailyActivity3D 및 MSR ActionPairs3D 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, mid-level features have shown promising performance in computer vision. Mid-level features learned by incorporating class-level information are potentially more discriminative than traditional low-level local features. In this paper, an effective method is proposed to extract mid-level features from Kinect skeletons for 3D human action recognition. Firstly, the orientations of limbs connected by two skeleton joints are computed and each orientation is encoded into one of the 27 states indicating the spatial relationship of the joints. Secondly, limbs are combined into parts and the limb's states are mapped into part states. Finally, frequent pattern mining is employed to mine the most frequent and relevant (discriminative, representative and non-redundant) states of parts in continuous several frames. These parts are referred to as Frequent Local Parts or FLPs. The FLPs allow us to build powerful bag-of-FLP-based action representation. This new representation yields state-of-the-art results on MSR DailyActivity3D and MSR ActionPairs3D.

연구 동기 및 목표

• 뼈대 데이터로부터 특징적이고 시간적 패턴을 잘 반영하는 중위 특징을 활용하여 3D 인간 동작 인식 성능을 향상시키는 것.
• 저수준 국소 특징의 한계를 보완하기 위해 부분 수준 표현을 통해 클래스 수준의 정보를 통합하는 것.
• 연속된 영상 프레임에서 뼈대 부분 상태에 대한 빈도 패턴 추출을 통해 안정적이고 특징적인 동작 표현을 개발하는 것.
• 효율적인 뼈대 기반 특징 학습 프레임워크를 통해 기준 3D 동작 인식 데이터셋에서 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 연결된 뼈대 관절 간의 지지부 방향성을 27개의 이산적 공간 상태로 인코딩하여 상대적 관절 위치를 표현한다.
• 개별 지지부를 몸통 부분으로 군집화하고, 각 부분의 방향성 상태를 집계하여 고차원 표현을 형성한다.
• 연속된 프레임 간에 빈도 패턴 추출을 적용하여 가장 빈도가 높고, 대표적이며 중복되지 않는 부분 상태를 식별하며, 이를 '빈도 높은 국소 부분(Frequent Local Parts, FLPs)'로 지칭한다.
• 비디오 시퀀스 전반에 걸쳐 FLP의 발생 횟수를 세어 bag-of-FLP 표현을 구성함으로써, 압축되고 특징적인 동작 기술자(Descriptor)를 형성한다.
• 뼈대 시퀀스의 시간 연속성을 활용하여 안정적인 부분 구성으로 동적 운동 패턴을 포착하는 것.
• 최종적으로 bag-of-FLP 특징을 기반으로 표준 분류 기법을 사용하여 동작 인식을 수행한다.

실험 결과

연구 질문

• RQ1 뼈대 데이터에서 유도된 중위 특징이 기존의 저수준 특징을 초월하여 3D 인간 동작 인식 성능를 향상시킬 수 있는가?
• RQ2 뼈대 관절 간의 공간적 관계를 효과적으로 인코딩하여 의미 있는 몸통 부분 구성 방식을 포착할 수 있는가?
• RQ3 뼈대 시퀀스에서 동작 인식을 위한 특징적이고 대표적인 패턴을 최적의 방식으로 식별할 수 있는가?
• RQ4 부분 상태에 대한 빈도 패턴 추출이 압축되고 강력한 표현을 도출할 수 있는가?

주요 결과

• 제안된 bag-of-FLP 표현은 MSR DailyActivity3D 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• MSR ActionPairs3D 데이터셋에서 기존 방법들을 능가하며, 뛰어난 특징 분류 능력을 입증한다.
• 중위 특징의 사용은 저수준 국소 특징만을 사용하는 것에 비해 심층적인 인식 정확도 향상을 크게 이룬다.
• FLP 추출 과정은 다양한 동작 클래스에 걸쳐 중복되지 않고 대표적인 운동 패턴을 효과적으로 포착한다.