[논문 리뷰] Hyper-Fisher Vectors for Action Recognition

Sanath Narayan, Kalpathi Ramakrishnan|arXiv (Cornell University)|2015. 09. 28.

Human Pose and Action Recognition참고 문헌 31인용 수 3

한 줄 요약

이 논문은 기존 피셔 벡터(FV) 표현을 개선하기 위해 바구니-오브-워드(BoW) 코드북에서 파생된 클러스터에 대해 FV 인코딩을 별도로 적용하는 새로운 비디오 동작 인식 인코딩인 하이퍼-피셔 벡터(HFV)를 제안한다. 이 방법은 UCF50, HMDB51 및 기타 여러 데이터셋에서 정확도를 2–3% 향상시키며, 특히 HMDB51에서 3% 향상된 성능을 기록한다. 또한 코드북 크기 변화에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

In this paper, a novel encoding scheme combining Fisher vector and bag-of-words encodings has been proposed for recognizing action in videos. The proposed Hyper-Fisher vector encoding is sum of local Fisher vectors which are computed based on the traditional Bag-of-Words (BoW) encoding. Thus, the proposed encoding is simple and yet an effective representation over the traditional Fisher Vector encoding. By extensive evaluation on challenging action recognition datasets, viz., Youtube, Olympic Sports, UCF50 and HMDB51, we show that the proposed Hyper-Fisher Vector encoding improves the recognition performance by around 2-3% compared to the improved Fisher Vector encoding. We also perform experiments to show that the performance of the Hyper-Fisher Vector is robust to the dictionary size of the BoW encoding.

연구 동기 및 목표

• 비디오 동작 특징 내의 클래스 내 변동성을 포괄하지 못하는 표준 피셔 벡터 인코딩의 한계를 해결한다.
• 높은 클래스 내 변동성과 환경적 변동성이 있는 도전적인 데이터셋에서의 동작 인식 성능을 향상시킨다.
• 바구니-오브-워드 클러스터링에서 코드북 크기가 변할 때에도 높은 성능을 유지할 수 있는 내성적인 인코딩 체계를 개발한다.
• BoW의 구조를 FV 내에 통합하여 더 나은 특징 표현을 가능하게 하는 하이브리드 인코딩 전략을 도입한다.

제안 방법

• 밀도 트랙토리 특징에서 k-means 클러스터링을 적용하여 바구니-오브-워드(BoW) 코드북을 추출하고, 특징을 클러스터 기반 그룹으로 분할한다.
• 공유된 GMM를 사용하여 각 클러스터 그룹에 대해 별도로 피셔 벡터 인코딩을 계산한 후, 결과로 얻은 벡터들을 합쳐 하이퍼-피셔 벡터를 구성한다.
• 지역적 특징 분포를 모델링하고 FV 인코딩을 위한 기울기를 계산하기 위해 파ameters θ = {πₖ, μₖ, σₖ}를 갖는 혼합 정규분포(GMM)를 사용한다.
• 최종 HFV 표현에 대해 거듭제곱 정규화와 L2 정규화를 적용하여 분류 성능을 향상시킨다.
• SVM과 평균 풀링을 사용하는 표준 비디오 분류 파이프라인에 HFV 인코딩을 통합한다.
• 카메라 움직임과 가림 현상에 강건한 특징 기반으로 와앙 등 [29]의 개선된 트랙토리 특징을 입력 기술자로 활용한다.

실험 결과

연구 질문

• RQ1 피셔 벡터 인코딩 내에 바구니-오브-워드 클러스터링을 통합하면 도전적인 비디오 데이터셋에서 동작 인식 성능 향상에 기여하는가?
• RQ2 표준 피셔 벡터 인코딩에 비해 제안된 하이퍼-피셔 벡터 인코딩은 정확도와 내성성 측면에서 어떻게 비교되는가?
• RQ3 하이퍼-피셔 벡터 인코딩의 성능은 바구니-오브-워드 코드북의 크기에 얼마나 민감한가?
• RQ4 HFV 표현은 표준 FV에 비해 비디오 특징의 더 많은 분류 가능한 변동성을 포착하는가?

주요 결과

• 하이퍼-피셔 벡터 인코딩은 올림픽 스포츠, 유튜브, UCF50, HMDB51 등의 데이터셋에서 개선된 피셔 벡터 기준선 대비 2–3%의 정확도 향상을 기록한다.
• HMDB51 데이터셋에서 제안된 방법은 60.1%의 정확도를 달성하여 iDT+FV 기준선의 57.2%보다 3% 향상된 성능을 보였다.
• HFV 표현은 표준 FV에 비해 평균 이탈 성분에 걸쳐 더 넓은 에너지 분포를 보이며, 특징 변동성을 더 잘 모델링하고 있음을 시사한다.
• HMDB51의 50% 이상의 비디오에서 FV-HFV 유사도 점수가 0.85 이하이므로, HFV와 FV 간의 표현 차이가 뚜렷하게 존재함을 보여준다.
• 코드북 크기가 500에서 4000으로 변할 때에도 HFV의 성능은 안정적이며, 정확도 변동이 1% 이내로 유지되어 사전 크기 변화에 대해 강력한 내성성을 보였다.
• 모든 평가된 데이터셋에서 최신 비딥러닝 기반 접근법을 초월하며, 표준 FV 인코딩의 대체 수단으로서의 효과성을 확인하였다.