[논문 리뷰] Discriminative convolutional Fisher vector network for action recognition

Petar Palasek, Ioannis Patras|arXiv (Cornell University)|2017. 07. 19.

Human Pose and Action Recognition참고 문헌 23인용 수 7

한 줄 요약

이 논문은 액션 인식을 위한 분류적 특징 개선을 위해 피셔 벡터 인코딩(GMM, PCA, FV 추출)을 학습 가능한 레이어로 통합한 새로운 엔드 투 엔드 미분 가능한 신경망 아키텍처를 제안한다. 이 방법은 UCF-101에서 2058만 개의 파라미터로 81.84%의 정확도를 달성하여 유사한 CNN보다 파라미터 수를 크게 줄이며 성능을 초월한다.

ABSTRACT

In this work we propose a novel neural network architecture for the problem of human action recognition in videos. The proposed architecture expresses the processing steps of classical Fisher vector approaches, that is dimensionality reduction by principal component analysis (PCA) projection, Gaussian mixture model (GMM) and Fisher vector descriptor extraction, as network layers. By contrast to other methods where these steps are performed consecutively and the corresponding parameters are learned in an unsupervised manner, having them defined as a single neural network allows us to refine the whole model discriminatively in an end to end fashion. Furthermore, we show that the proposed architecture can be used as a replacement for the fully connected layers in popular convolutional networks achieving a comparable classification performance, or even significantly surpassing the performance of similar architectures while reducing the total number of trainable parameters by a factor of 5. We show that our method achieves significant improvements in comparison to the classical chain.

연구 동기 및 목표

• 기존의 피셔 벡터 기술이 작업에 특화된 지도 학습 없이 독립적으로 학습된다는 한계를 해결하기 위해.
• GMM 학습, PCA 투영, 피셔 벡터 인코딩의 단계를 하나의 엔드 투 엔드 학습 가능한 신경망으로 통합하기 위해.
• 딥 네트워크의 학습 가능한 파라미터 수를 줄이면서도 분류 정확도를 유지하거나 향상시키기 위해.
• 개선된 비디오 표현을 위해 밀도 있는 시공간 피셔 벡터 기반 기술 추출을 가능하게 하기 위해.

제안 방법

• 아키텍처는 두 가지 새로운 레이어를 도입한다: 가우시안 믹스처 모델(GMM) 레이어와 피셔 벡터(FV) 기반 기술 레이어로, 이는 백프로파게이션을 통해 학습 가능한 미분 가능한 레이어이다.
• 네트워크는 각 레이어를 순차적으로 비지도 사전 학습(예: GMM, PCA, FV)한 후, 지도 학습 손실을 사용하여 엔드 투 엔드로 미세 조정한다.
• 지역 시공간 특징은 3D 컨볼루션 레이어를 통해 비디오 클립에서 추출되며, 중간 단계에서 FV 인코딩을 수행한다.
• FV 레이어는 피셔 정보 행렬을 사용하여 GMM 파라미터에 대한 기울기를 계산하여, 인코딩 과정을 통해 역전파가 가능하도록 한다.
• 모델은 공간과 시간에 걸쳐 밀도 있는 샘플링을 지원하며, 공간 피라미드 풀링 및 주의 메커니즘과 자연스럽게 통합 가능하다.
• 네트워크의 상위 레이어는 표준 CNN(VGG-16 등)의 완전 연결 레이어를 대체할 수 있으며, 파라미터 수를 5배 줄일 수 있다.

실험 결과

연구 질문

• RQ1 피셔 벡터 인코딩 단계(GMM, PCA, FV)를 액션 인식을 위한 딥 네트워크 내에서 효과적으로 미분 가능한 레이어로 모델링할 수 있는가?
• RQ2 FV 인코딩을 포함한 전체 네트워크를 엔드 투 엔드로 학습하는 것이 개별 구성 요소를 비지도 사전 학습하는 것보다 더 뛰어난 분류 성능을 내는가?
• RQ3 제안된 아키텍처는 표준 CNN과 비교해 유사하거나 더 높은 정확도를 달성하면서도 학습 가능한 파라미터 수를 크게 줄일 수 있는가?
• RQ4 피셔 벡터 기반 네트워크가 VGG-16과 같은 인기 있는 CNN의 완전 연결 레이어를 성능 저하 없이 대체할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 VGG-16 특징을 입력으로 사용할 때 UCF-101 데이터셋에서 81.84%의 정확도를 달성하며, 13467만 개의 총 파라미터로 VGG-16의 공간 스트림(82.61%)보다 뛰어난 성능을 내지만, 파라미터 수는 2058만 개로 크게 줄였다.
• 표준 VGG-16 대비 상위 레이어의 학습 가능한 파라미터 수를 5배 줄였고, 성능 격차는 3.5%에 불과했다.
• VGG-16의 완전 연결 레이어를 제안된 FV 기반 레이어로 대체함으로써 파라미터 수를 11996만 개에서 587만 개로 줄였고, 유사한 성능을 달성했다.
• 기본층에 단일 레이어의 3D 컨볼루션 RBM만을 사용할 경우에도 61.67%의 정확도를 기록했으며, 이는 직접 UCF-101에서 학습된 이중 스트림 네트워크의 공간 스트림(52.3%)보다 뛰어났다.
• 엔드 투 엔드 미세 조정 과정은 비지도 사전 학습 기반 성능을 크게 향상시켰으며, 공동 최적화의 이점을 입증했다.
• 아키텍처는 공간과 시간에 걸쳐 밀도 있는 FV 추출을 가능하게 하여, 공간 피라미드 통합 및 향상된 특징 커버리지 지원이 가능하다.