[논문 리뷰] Deep Quantization: Encoding Convolutional Activations with Deep Generative Model

Zhaofan Qiu, Ting Yao외 1명|arXiv (Cornell University)|2016. 11. 29.

Human Pose and Action Recognition참고 문헌 40인용 수 7

한 줄 요약

이 논문은 FV-VAE를 제안하며, 깊이 있는 신경망 아키텍처를 통해 컨볼루션 레이어의 활성화를 정량화하기 위해 피셔 벡터 인코딩과 변동형 오토인코더(Variational Autoencoders)를 통합한다. VAE를 통해 변동형 추론과 학습을 수행함으로써 FV-VAE는 데이터 적응형이고 민감한 표현 학습을 가능하게 하여 기존의 GMM 기반 피셔 벡터보다 뛰어난 성능을 보이며, 영상 동작 인식에서 UCF101 데이터셋에서 최신 기준인 94.2%의 정확도를 달성한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have proven highly effective for visual recognition, where learning a universal representation from activations of convolutional layer plays a fundamental problem. In this paper, we present Fisher Vector encoding with Variational Auto-Encoder (FV-VAE), a novel deep architecture that quantizes the local activations of convolutional layer in a deep generative model, by training them in an end-to-end manner. To incorporate FV encoding strategy into deep generative models, we introduce Variational Auto-Encoder model, which steers a variational inference and learning in a neural network which can be straightforwardly optimized using standard stochastic gradient method. Different from the FV characterized by conventional generative models (e.g., Gaussian Mixture Model) which parsimoniously fit a discrete mixture model to data distribution, the proposed FV-VAE is more flexible to represent the natural property of data for better generalization. Extensive experiments are conducted on three public datasets, i.e., UCF101, ActivityNet, and CUB-200-2011 in the context of video action recognition and fine-grained image classification, respectively. Superior results are reported when compared to state-of-the-art representations. Most remarkably, our proposed FV-VAE achieves to-date the best published accuracy of 94.2% on UCF101.

연구 동기 및 목표

• 기존 방법에서 추출된 컨볼루션 기반 기술자와 별도의 정량화 단계 사이의 최적화되지 않은 호환성 문제를 해결한다.
• 피셔 벡터 인코딩에서의 가우시안 혼합 모델(GMM)의 한계, 즉 유연하지 못한 가우시안 가정과 복잡한 데이터 클러스터에 대한 낮은 일반화 능력을 극복한다.
• 딥 생성 모델링을 활용해 특징 추출과 정량화를 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 분류 손실을 FV-VAE 아키텍처에 통합하여 학습 중 의미 정보를 유지한다.
• VAE 프레임워크 내에서 재구성 손실의 기울기를 통해 역전파를 통한 피셔 벡터 표현의 직접 계산을 가능하게 한다.

제안 방법

• 두 단계로 구성된 딥 아키텍처를 제안한다: 특징 추출을 위한 CNN 기반 모델과 피셔 벡터 인코딩을 위한 변동형 오토인코더(VAE)의 조합.
• 인식 네트워크를 사용해 잠재 변수에 대한 사후 분포를 모델링함으로써 피셔 벡터 인코딩을 VAE에 통합하여 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 잠재 코드에 대한 재구성 손실의 기울기를 피셔 벡터 표현으로 사용함으로써, 미분 가능하고 효율적인 FV 계산을 가능하게 한다.
• 전체 모델을 재구성 손실(VAE)과 교차 엔트로피 분류 손실을 조합한 손실 함수로 엔드 투 엔드로 학습시켜 의미 정보를 유지한다.
• VAE의 계층적 구조를 활용하여 기존 GMM 기반 FV보다 더 민감하고 복잡한 비가우시안 데이터 분포를 더 자유롭게 모델링한다.
• 절대값을 취한 FV 성분을 통합하여 공간적 및 시간적 주의 메트릭스를 생성함으로써 인식에 관련된 주목할 만한 영역과 프레임을 강조한다.

실험 결과

연구 질문

• RQ1 피셔 벡터 인코딩이 변동형 오토인코더와 같은 딥 생성 모델에 효과적으로 통합되어 표현 학습을 향상시킬 수 있는가?
• RQ2 기존의 GMM를 딥 VAE 기반 생성 모델로 대체할 경우, 시각적 인식 작업에서 더 나은 일반화 능력과 성능을 달성할 수 있는가?
• RQ3 피셔 벡터 표현이 VAE 프레임워크 내에서 역전파를 통해 직접 계산될 수 있는가? 이는 엔드 투 엔드 학습을 가능하게 하는가?
• RQ4 제안된 FV-VAE 모델은 영상 동작 인식과 미세 분류 과제에서 최신 기준 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 FV-VAE 모델은 주의 시각화를 통해 의미적으로 관련된 영역과 시간적 영역을 어느 정도 강조할 수 있는가?

주요 결과

• FV-VAE는 영상 동작 인식 과제에서 UCF101 데이터셋에서 94.2%의 새로운 최고 기록 정확도를 달성하여 이전의 방법들을 능가한다.
• 영상 동작 인식(UKF101, ActivityNet)과 미세 분류 이미지 인식(CUB-200-2011) 모두에서 뛰어난 성능을 보이며, 광범위한 전이 가능성(transferability)을 입증한다.
• 특징 시각화 결과에서 FV-VAE는 새의 부리, 목, 날개와 같이 특징적인 부분에 공간적 주의를 집중하는 것으로 나타났으며, 영상에서는 제트 보트나 날카운 날카로운 도구와 같은 핵심 객체에 주목한다.
• 시간적 주의 맵은 뚜렷한 동작이 일어나는 프레임(예: 제트 보트를 타는 것, 칼을 갈는 것)에서 더 높은 점수를 기록함으로써, 모델이 핵심 시간적 사건을 정확히 국소화할 수 있음을 확인한다.
• 재구성 손실의 기울기로 계산된 FV 표현은 이론적으로 타당하고 실용적으로 효과적인 것으로 입증되었다.
• GMM보다 VAE 기반 생성 모델이 더 큰 유연성을 제공하여, 컨볼루션 기반 기술자의 자연스러운 클러스터링과 분포를 더 잘 포착한다.