[논문 리뷰] Bag of Visual Words and Fusion Methods for Action Recognition: Comprehensive Study and Good Practice

Xiaojiang Peng, Limin Wang외 2명|arXiv (Cornell University)|2014. 05. 18.

Human Pose and Action Recognition참고 문헌 47인용 수 128

한 줄 요약

이 논문은 비디오 동작 인식을 위한 Bag of Visual Words (BoVW) 파이프라인에 대한 종합적인 연구를 제시하며, 특징 추출, 인코딩, 융합 단계에서 최적의 구성 요소를 규명한다. Fisher Vectors와 소프트-비주얼 코드북 특징을 융합한 하이브리드 표현 방식을 제안하여 표현 수준 융합을 통해 HMDB51에서 61.1%, UCF50에서 92.3%, UCF101에서 87.9%의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video based action recognition is one of the important and challenging problems in computer vision research. Bag of Visual Words model (BoVW) with local features has become the most popular method and obtained the state-of-the-art performance on several realistic datasets, such as the HMDB51, UCF50, and UCF101. BoVW is a general pipeline to construct a global representation from a set of local features, which is mainly composed of five steps: (i) feature extraction, (ii) feature pre-processing, (iii) codebook generation, (iv) feature encoding, and (v) pooling and normalization. Many efforts have been made in each step independently in different scenarios and their effect on action recognition is still unknown. Meanwhile, video data exhibits different views of visual pattern, such as static appearance and motion dynamics. Multiple descriptors are usually extracted to represent these different views. Many feature fusion methods have been developed in other areas and their influence on action recognition has never been investigated before. This paper aims to provide a comprehensive study of all steps in BoVW and different fusion methods, and uncover some good practice to produce a state-of-the-art action recognition system. Specifically, we explore two kinds of local features, ten kinds of encoding methods, eight kinds of pooling and normalization strategies, and three kinds of fusion methods. We conclude that every step is crucial for contributing to the final recognition rate. Furthermore, based on our comprehensive study, we propose a simple yet effective representation, called hybrid representation, by exploring the complementarity of different BoVW frameworks and local descriptors. Using this representation, we obtain the state-of-the-art on the three challenging datasets: HMDB51 (61.1%), UCF50 (92.3%), and UCF101 (87.9%).

연구 동기 및 목표

• BoVW 파이프라인의 각 구성 요소가 동작 인식 성능에 미치는 영향을 체계적으로 평가하는 것.
• 다양한 기술자료를 융합할 때 다양한 융합 전략의 효과성을 조사하는 것.
• BoVW를 사용한 강력하고 정확한 동작 인식 시스템을 구축하기 위한 최선의 실천 방법을 규명하는 것.
• 다른 인코딩 방법과 기술자료 간의 상호보완성을 활용하는 단순하면서도 효과적인 하이브리드 표현을 개발하는 것.

제안 방법

• 저자들은 여러 데이터셋(HMDB51, UCF50, UCF101)을 대상으로 10종류의 인코딩 방법, 8종류의 풀링 및 정규화 전략, 3종류의 융합 방법을 평가한다.
• 지역적 시공간 특징으로는 iDT, HOG, HOF, MBH를 사용하고, 기술자료 간 상관관계를 제거하기 위해 사전 처리를 적용한다.
• HOG, HOF, MBHx, MBHy 등의 다양한 기술자료에서 유도된 Fisher Vectors(FV)와 소프트-비주얼 코드북(SVC) 출력을 융합하여 하이브리드 표현을 제안한다.
• 표현 수준 융합을 통해 특징을 융합하며, 강건성을 향상시키기 위해 거듭제곱 정규화와 내부-ℓ₂ 정규화를 적용한다.
• 분류를 위해 최종 시스템은 RBF 커널을 사용하는 SVM을 사용하며, 융합된 표현에 대해 훈련한다.
• 모든 파이프라인 단계에서 추론 실험을 수행하여 각 구성 요소의 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 BoVW 프레임워크 내에서 다양한 국소적 특징과 인코딩 방법은 동작 인식 성능에 어떻게 영향을 미치는가?
• RQ2 풀링 및 정규화 전략의 상대적 영향은 최종 인식 정확도에 어떤가?
• RQ3 여러 기술자료를 융합할 때, 기술자료 수준 융합, 표현 수준 융합, 또는 조기 융합 중 어떤 전략이 가장 높은 성능을 낼 수 있는가?
• RQ4 FV와 SVC 인코딩을 융합한 하이브리드 표현은 그들의 상호보완적인 통계적 성질(1차 및 2차 통계 vs. 0차 및 1차 통계)을 활용하여 성능 향상을 이룰 수 있는가?
• RQ5 BoVW를 사용한 동작 인식에서 최신 기술 수준 성능을 달성하는 데 핵심이 되는 설계 선택은 무엇인가?

주요 결과

• 특징 추출, 사전 처리, 코드북 생성, 인코딩, 풀링 등 BoVW 파이프라인의 모든 단계가 최종 인식 정확도에 상당한 영향을 미치며, 다른 단계에서의 개선 효과를 상쇄할 수 있는 열악한 선택도 존재한다.
• 표현 수준 융합은 특히 SA-k, LLC, VQ와 같은 재구성 기반 인코딩 방법을 사용할 경우 기술자료 수준 융합 및 조기 융합보다 일관되게 뛰어난 성능을 보인다.
• Fisher Vectors(FV)와 소프트-비주얼 코드북(SVC) 표현을 융합하면 그들의 상호보완적인 통계적 성질(1차 및 2차 통계 대비 0차 및 1차 통계) 덕분에 성능 향상이 뚜렷하게 발생한다.
• 제안된 하이브리드 표현은 HMDB51에서 61.1%의 정확도를 달성하여 이전 최고 기록보다 3.9% 높으며, UCF50(92.3%)과 UCF101(87.9%)에서도 새로운 SOTA 기록을 수립하여 최근의 딥 러닝 및 복잡한 인코딩 방법을 능가한다.
• 이 연구는 슈퍼벡터 기반 인코딩 방법(FV, SVC 등)이 안정적이고 저차원의 코드북 표현을 가지므로 융합 전략에 덜 민감한 반면, 재구성 기반 방법은 표현 수준 융합에서 더 큰 이점을 얻는다는 점을 드러냈다.
• 융합의 성능 향상 요인은 주로 다양한 기술자료와 인코딩 방식 간의 상호보완성에서 비롯되며, 단순히 기능 차원의 증가 때문이 아니다.