[논문 리뷰] Dynamic Feature Description in Human Action Recognition

Ruoyun Gao, Michael S. Lew외 1명|arXiv (Cornell University)|2010. 12. 31.

Human Pose and Action Recognition참고 문헌 48인용 수 5

한 줄 요약

이 논문은 공간-시간 관심점 검출과 큐보이드 기반 특징 표현을 향상시켜 인간 동작 인식을 위한 동적 특징 기술 방법을 제안한다. 관심점 주변의 구조적 분포와 큐보이드 내부 콘텐츠를 통합함으로써 Bag-of-Words 모델의 분류 능력을 향상시켜 표준 데이터셋에서 뛰어난 인식 정확도를 달성한다.

ABSTRACT

This work aims to present novel description methods for human action recognition. Generally, a video sequence can be represented as a collection of spatial temporal words by detecting space-time interest points and describing the unique features around the detected points (Bag of Words representation). Interest points as well as the cuboids around them are considered informative for feature description in terms of both the structural distribution of interest points and the information content inside the cuboids. Our proposed description approaches are based on this idea and making the feature descriptors more discriminative.

연구 동기 및 목표

• 인간 동작의 동적 운동 패턴을 포착하는 데에 정적 특징 기술자의 한계를 해결하기 위해.
• 공간-시간적 구조를 활용하여 영상 기반 동작 인식에서 특징 기술자의 분류 능력을 향상시키기 위해.
• 관심점 분포와 국소 큐보이드 콘텐츠를 모두 통합하여 Bag-of-Words 표현을 향상시키기 위해.
• 복잡한 인간 동작 시퀀스에 대해 더 견고하고 정보량이 풍부한 특징 기술 방법을 개발하기 위해.
• 검출된 관심점 주변의 구조적 및 콘텐츠 기반 특징을 융합하여 더 높은 인식 정확도를 달성하기 위해.

제안 방법

• 영상 볼륨에 3D 하리스 유사 검출기를 적용하여 공간-시간 관심점을 검출한다.
• 검출된 관심점 중심에 3D 큐보이드를 추출하여 국소 운동 및 외관 특징을 캡처한다.
• 각 큐보이드를 국소 운동 패tern과 관심점의 공간적 분포의 조합을 사용하여 기술한다.
• 관심점의 구조적 분포(공간적 레이아웃)를 큐보이드 내부 기능 콘텐츠(텍스처, 운동)와 통합한다.
• 공간-시간 관심점 위치와 큐보이드 기반 기술자를 융합하여 동적 특징 기술자를 구성한다.
• 최종 동작 분류를 위해 향상된 기술자를 사용하는 Bag-of-Words 모델을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 영상 시퀀스에서 인간 동작 인식을 위한 특징 기술자가 더 분류 능력이 뛰어나게 할 수 있는가?
• RQ2 관심점 분포와 국소 큐보이드 콘텐츠를 융합할 경우 성능 향상 정도는 어느 정도인가?
• RQ3 동적 특징 기술자가 동작 인식 작업에서 기존 정적 기술자보다 뛰어나게 작용할 수 있는가?
• RQ4 구조적 특징과 콘텐츠 기반 특징이 함께 기여하여 동작 분류 정확도를 향상시키는 방식은 어떠한가?
• RQ5 큐보이드 기반 국소 표현이 동적 환경에서 특징 기술자의 견고성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 동적 특징 기술 방법은 기준 Bag-of-Words 접근 방식보다 더 높은 인식 정확도를 달성한다.
• 관심점의 공간적 분포와 큐보이드 내부 콘텐츠를 모두 통합함으로써 기술자의 분류 능력이 크게 향상된다.
• 다중 수준의 특징 표현 덕분에 시점 변화 및 운동 속도 변화에 대해 뛰어난 견고성을 보인다.
• 관심점 주변의 3D 큐보이드 사용은 점 기반 기술자보다 더 풍부한 운동 역학을 캡처한다.
• 구조적 특징와 콘텐츠 기반 특징의 융합은 표준 인간 동작 인식 벤치마크에서 성능 향상에 기여한다.
• 영상 데이터에서 특징의 분류 능력과 분류 신뢰도 측면에서 기존 방법을 뛰어넘는 성능을 보인다.