[논문 리뷰] Deep FisherNet for Object Classification

Peng Tang, Xinggang Wang외 4명|arXiv (Cornell University)|2016. 07. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 39

한 줄 요약

이 논문은 객체 분류를 위한 복합적이고 혼잡한 객체 이미지에서 척도와 외관의 큰 변동성에도 불구하고 성능을 높이기 위해 피셔 벡터(Fisher Vector, FV) 인코딩과 컨볼루션 신경망(Convolutional Neural Network, CNN) 특징을 통합한 새로운 엔드 투 엔드 학습 가능한 딥 뉴럴 네트워크인 FisherNet을 제안한다. FV 레이어를 미분 가능하게 만들고, 역전파를 통해 패치 특징과 FV 파라미터를 공동 최적화함으로써, FisherNet은 기존 방법보다 10배 이상 빠른 추론 속도를 기록하면서 PASCAL VOC에서 최고 성능을 달성한다.

ABSTRACT

Despite the great success of convolutional neural networks (CNN) for the image classification task on datasets like Cifar and ImageNet, CNN's representation power is still somewhat limited in dealing with object images that have large variation in size and clutter, where Fisher Vector (FV) has shown to be an effective encoding strategy. FV encodes an image by aggregating local descriptors with a universal generative Gaussian Mixture Model (GMM). FV however has limited learning capability and its parameters are mostly fixed after constructing the codebook. To combine together the best of the two worlds, we propose in this paper a neural network structure with FV layer being part of an end-to-end trainable system that is differentiable; we name our network FisherNet that is learnable using backpropagation. Our proposed FisherNet combines convolutional neural network training and Fisher Vector encoding in a single end-to-end structure. We observe a clear advantage of FisherNet over plain CNN and standard FV in terms of both classification accuracy and computational efficiency on the challenging PASCAL VOC object classification task.

연구 동기 및 목표

• 복잡하고 혼잡한 객체 이미지에서 척도와 외관의 큰 변동성이 있는 경우 표준 CNN과 고정 파라미터를 가진 피셔 벡터(Fisher Vector, FV) 인코딩의 한계를 해결하기 위해.
• 기존 FV의 비가역성으로 인해 엔드 투 엔드 학습에서 패치 특징과 FV 파라미터를 공동 최적화할 수 없는 문제를 해결하기 위해.
• 역전파를 통해 CNN 특징과 FV 코드북 파라미터 양쪽 모두를 통과할 수 있도록 허용하는 학습 가능한 FV 레이어(Fisher Layer)를 개발하기 위해.
• 패치 표현과 FV 인코딩을 함께 학습하여 PASCAL VOC 벤치마크에서 분류 정확도와 계산 효율성을 향상시키기 위해.
• 엔드 투 엔드로 FV와 CNN 특징을 함께 학습할 경우, 비학습 가능한 FV와 표준 CNN에 비해 훨씬 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 기존 FV 인코딩 대신 가역 가능한 피셔 레이어(Fisher Layer)를 사용하는 새로운 신경망 아키텍처인 FisherNet을 제안하여, CNN 특징 추출기와 FV 코드북 양쪽 모두를 통해 역전파가 가능하도록 한다.
• 학습 가능한 가우시안 믹스처 모델(Gaussian Mixture Model, GMM)을 사용해 FV를 매개변수화하여, 코드북 파라미터를 경사 하강법을 통해 학습 중 최적화할 수 있도록 한다.
• 고정된 간격으로 7개의 스케일(32×{2,3,...,8})을 사용해 밀도 높은 다중 스케일 패치 추출을 수행하며, 패치 간에 CNN 특징 계산을 공유하여 효율성을 향상시킨다.
• 지난 FV 계산을 위해 GMM 로그우도의 기울기를 사용해 局부 CNN 특징을 집계하는 피셔 레이어를 도입하여 전체 과정이 가역 가능하게 만든다.
• 정규화의 강건성과 일반화 성능 향상을 위해 최종 FV 표현에 대해 파wr 정규화와 L2 정규화를 적용한다.
• 최종 이미지 표현을 사용해 선형 SVM을 학습하기 위해, 확률적 경사 하강법을 사용해 전체 네트워크를 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 피셔 벡터 인코딩을 엔드 투 엔드 딥 러닝 프레임워크에 통합하고, 이를 통해 객체 분류에 대해 미분 가능하게 만들 수 있는가?
• RQ2 CNN 기반 패치 특징과 FV 파라미터를 공동 최적화할 경우, 고정된 FV나 표준 CNN에 비해 분류 정확도가 향상되는가?
• RQ3 제안된 엔드 투 엔드 학습 전략이 이전의 CNN-FV 방법보다 더 높은 정확도와 더 빠른 추론 속도를 달성할 수 있는가?
• RQ4 PASCAL VOC 벤치마크에서 FisherNet의 성능은 표준 CNN과 비학습 가능한 FV 기반 방법에 비해 어떻게 비교되는가?
• RQ5 패치 특징과 FV 파라미터 양쪽을 엔드 투 엔드로 학습할 경우, 다양한 객체 카테고리에서 성능 향상 정도는 어느 정도인가?

주요 결과

• FisherNet은 PASCAL VOC 2007 및 2012에서 최고 성능을 기록하여, 표준 CNN과 이전의 CNN-FV 방법(예: Liu 등 [14] 및 Cimpoi 등 [2])을 모두 능가한다.
• AlexNet 기반으로는 1장당 0.3초, VGG16 기반으로는 0.8초의 추론 시간을 기록하여 이전 최고 성능 방법인 HCP보다 10배 이상 빠르게 한다.
• 패치 특징과 FV 파라미터를 엔드 투 엔드로 학습함으로써, 기존의 전통적인 FV 인코딩 대비 PASCAL VOC 2007 및 2012에서 +2.9%의 정확도 향상을 달성한다.
• CNN-FV 베이스라인(고정된 FV)은 이미 표준 CNN 미세조정보다 뛰어난 성능을 보이지만, FV 파라미터와 패치 특징을 함께 학습함으로써 추가적인 성능 향상이 이루어진다.
• 피셔 레이어를 통해 FV 계산 과정 전반에 걸쳐 효과적인 역전파가 가능해져, 전체 네트워크가 공동으로 최적화되고 적응적으로 학습될 수 있다.
• 제안된 방법은 깊이 있는 CNN 특징과 학습 가능한, 가역 가능한 FV 인코딩을 조합함으로써, 복잡한 객체 분류 과제에서 뛰어난 성능과 효율성을 달성할 수 있음을 입증한다.