[논문 리뷰] Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition

Zhenzhong Lan, Alexander G. Hauptmann|arXiv (Cornell University)|2015. 10. 15.

Human Pose and Action Recognition참고 문헌 24인용 수 5

한 줄 요약

이 논문은 시공간 피라미드의 높은 차원성과 인위적인 격자 경계 문제를 피하기 위해 시공간적 위치를 국소적 특징 기술자에 직접 통합하는 간단하면서도 효과적인 방법인 공간-시간 확장 기술자(STED)를 제안한다. STED는 여러 벤치마크에서 STP와 유사하거나 더 높은 정확도를 달성하면서도 훨씬 낮은 차원의 표현을 사용한다.

ABSTRACT

We address the problem of generating video features for action recognition. The spatial pyramid and its variants have been very popular feature models due to their success in balancing spatial location encoding and spatial invariance. Although it seems straightforward to extend spatial pyramid to the temporal domain (spatio-temporal pyramid), the large spatio-temporal diversity of unconstrained videos and the resulting significantly higher dimensional representations make it less appealing. This paper introduces the space-time extended descriptor, a simple but efficient alternative way to include the spatio-temporal location into the video features. Instead of only coding motion information and leaving the spatio-temporal location to be represented at the pooling stage, location information is used as part of the encoding step. This method is a much more effective and efficient location encoding method as compared to the fixed grid model because it avoids the danger of over committing to artificial boundaries and its dimension is relatively low. Experimental results on several benchmark datasets show that, despite its simplicity, this method achieves comparable or better results than spatio-temporal pyramid.

연구 동기 및 목표

• 제약 없는 영상에서 큰 시공간 변동성을 다루는 데에 한계가 있는 시공간 피라미드(STP) 방법의 문제점을 해결한다.
• 고정 격자 풀링으로 인해 발생하는 높은 차원의 특징 표현을 줄이며 계산 비용을 감소시킨다.
• 특징 인코딩 과정의 초기 단계에서 시공간적 위치 정보를 통합하여 행동 인식 성능을 향상시킨다.
• 인위적인 공간-시간 경계에 과도하게 종속되지 않는 더 강력하고 효율적인 STP의 대안을 개발한다.
• 특징 기술자에 직접 위치를 인코딩하는 것이 풀링 기반 접근 방식보다 일반화 성능이 뛰어나고 차원 수가 낮다는 것을 입증한다.

제안 방법

• 운동/외관 기술자 φi에 정규화된 시공간 좌표 (x, y, t)를 첨부하여 공간-시간 확장 기술자로 확장한다.
• 결합된 기술자에 대해 국소적 인코딩 기법 g: φi → ℝ^K (예: 희소 코딩 또는 국소성 기반 해싱)를 적용하여 압축되고 위치 인식이 가능한 특징을 생성한다.
• 고정 격자 분할에 의존도를 줄이기 위해, 인코딩 단계에서 공간 및 시간적 위치를 직접 기술자에 통합함으로써 별도의 풀링 단계를 회피한다.
• 평가를 위해 표준 BoF 파ip라인과 피셔 벡터 인코딩을 사용하여 여러 영상 데이터셋에 본 방법을 적용한다.
• 다양한 시간 피라미드 수준(l=1에서 l=8까지)에서 STED와 STP를 비교하여 탄력성과 성능의 상충 관계를 평가한다.
• 표준 평가 지표를 사용한다: UCF50과 HMDB51에 대해서는 평균 정확도(mAcc), Hollywood2와 올림픽 스포츠에 대해서는 평균 정밀도(mAP)

실험 결과

연구 질문

• RQ1 특징 기술자에 직접 시공간적 위치를 인코딩하는 것이 행동 인식에서 풀링 기반의 시공간 피라미드 방법보다 우월한가?
• RQ2 인코딩 단계에서 위치 정보를 통합하면 STP와 비교해 차원 수를 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 HMDB51와 Hollywood2처럼 시공간 변동성이 다양한 다양한 영상 데이터셋에서 STED는 어떻게 성능을 발휘하는가?
• RQ4 제약 없는 영상 환경에서 인위적인 격자 경계가 초래하는 부정적 영향을 STED는 어느 정도 완화하는가?
• RQ5 예를 들어 올림픽 스포츠 데이터셋처럼 훈련 샘플 수가 제한된 데이터셋에 적용했을 때 STED는 STP보다 더 강건한가?

주요 결과

• STED는 UCF50, HMDB51, Hollywood2, 올림픽 스포츠의 네 가지 벤치마크 데이터셋 전반에서 일관되게 성능 향상을 보였으며, STP는 성능이 일관되지 않게 나타나는 경우가 있었다.
• HMDB51에서 STED는 평균 정확도 62.1%를 기록했으며, 기준값(59.0%)보다 3.1%p 향상되었고, l=2일 때 STP(61.3%)를 초월했다.
• Hollywood2에서 STED는 mAP 67.0%를 달성했으며, 기준값(64.6%)보다 2.4%p 향상되었고, l=2일 때 STP(67.4%)를 뛰어넘었다.
• UCF50에서 STED는 mAcc 93.0%를 기록했으며, 기준값(91.5%)보다 1.5%p 향상되었고, l=2일 때 STP(92.6%)를 뛰어넘었다.
• 올림픽 스포츠 데이터셋에서 STED는 mAP 89.8%를 기록했으며, STP(89.3%)보다 略적으로 높은 성능을 보였지만, 클래스당 테스트 샘플 수가 적어 통계적 신뢰도가 제한되었다.
• STED는 STP보다 훨씬 낮은 차원의 표현을 사용하면서도 최신 기술 수준 또는 경쟁 가능한 성능을 달성하여 계산 효율성이 뛰어나다.