[논문 리뷰] End-to-end Learning of a Fisher Vector Encoding for Part Features in Fine-grained Recognition

Dimitri Korsch, Paul Bodesheim외 1명|arXiv (Cornell University)|2020. 07. 04.

Wildlife Ecology and Conservation참고 문헌 2인용 수 6

한 줄 요약

이 논문은 피어슨 벡터 인코딩(FVE) 레이어를 제안하며, 이는 온라인 EM을 통해 추정된 혼합 정규분포 모델(GMM)을 컨볼루션 신경망(CNN)에 통합하여 미세한 새 종 분류를 위한 엔드 투 엔드 미분 가능한 방법이다. GMM 파라미터와 네트워크 가중치를 동시에 학습시킴으로써, 부분 순서나 누락된 부분에 대해 불변인 고정 길이 표현을 생성하며, CUB-200-2011(91.1%), NA-Birds(90.3%), Birdsnap(84.9%)에서 최신 기준 성능을 달성한다.

ABSTRACT

Part-based approaches for fine-grained recognition do not show the expected performance gain over global methods, although explicitly focusing on small details that are relevant for distinguishing highly similar classes. We assume that part-based methods suffer from a missing representation of local features, which is invariant to the order of parts and can handle a varying number of visible parts appropriately. The order of parts is artificial and often only given by ground-truth annotations, whereas viewpoint variations and occlusions result in not observable parts. Therefore, we propose integrating a Fisher vector encoding of part features into convolutional neural networks. The parameters for this encoding are estimated by an online EM algorithm jointly with those of the neural network and are more precise than the estimates of previous works. Our approach improves state-of-the-art accuracies for three bird species classification datasets.

연구 동기 및 목표

• 부분 기반 방법의 한계를 해결하기 위해, 특히 분류에 유의미한 局부적 세부 정보에 초점을 맞추고도 성능이 떨어지는 문제를 해결하고자 한다.
• 가림, 시점 변화 또는 비지도 탐지로 인해 부분 수가 변동하고 순서가 없는 경우에도 강건하고 불변인 표현이 부족한 문제를 해결하고자 한다.
• 온라인 EM 알고리즘을 사용하여 CNN 특징 추출기와 피어슨 벡터 인코딩 파라미터를 동시에 엔드 투 엔드로 훈련할 수 있도록 하기 위해 설계되었다.
• 기존 기울기 기반 방법에 비해 GMM 파라미터 추정 정확도를 향상시키기 위해, FVE를 위한 GMM 파라미터 추정을 개선하고자 한다.
• 정확한 부분 애너테이션 없이도 표준 미세한 새 종 분류 벤치마크에서 최신 기준 성능을 달성하고자 한다.

제안 방법

• 임의의 수의 부분 특징을 고정 길이 벡터로 변환하기 위해 GMM를 사용하는 미분 가능한 FVE 레이어를 도입한다.
• 백프로파게이션 동안 미니배치 단위로 파라미터를 업데이트하는 온라인 EM 알고리즘을 통해 GMM 파라미터(평균, 공분산, 혼합 가중치)를 추정한다.
• 엔드 투 엔드 백프로파게이션을 통해 CNN 기반 네트워크와 FVE 파라미터를 동시에 최적화함으로써, 네트워크가 특징을 인코딩 방식에 맞게 적응하도록 한다.
• GMM의 소프트 할당 가중치를 사용하여 가중치가 부여되고 정규화된 유클리드 거리를 특징과 혼합 성분 간의 적합도 측정 기준으로 사용한다.
• 최종 분류 이전에 부분 검출기(예: [24]에서 제안한 바와 유사)를 통해 추출된 특징을 집계하기 위해 FVE 레이어를 적용한다.
• 분류 손실과 EM 목표 함수를 결합한 손실 함수를 사용하여, GMM가 데이터 분포를 정확히 모델링하도록 보장한다.

실험 결과

연구 질문

• RQ1 온라인 EM 추정을 사용하는 미분 가능한 FVE 레이어가 기존의 전역적 또는 비미분 가능한 FVE 방법보다 부분 기반 미세한 종 분류 성능을 향상시킬 수 있는가?
• RQ2 온라인 EM을 통한 GMM 파라미터의 엔드 투 엔드 학습이 기울기 기반 최적화에 비해 부분 특징의 클러스터링 정확도를 높이는가?
• RQ3 가림 또는 시점 변화로 인해 부분이 누락되거나 순서가 정해지지 않은 경우, 제안된 FVE 레이어가 성능 저하를 어느 정도 완화하는가?
• RQ4 기존의 FVE 구현 방식에 비해 제안된 방법이 표준 벤치마크에서 GMM 적합도와 분류 정확도 측면에서 어떻게 성능을 냈는가?
• RQ5 FVE 레이어가 CNN 파ipelin에 효과적으로 통합되어 미세한 새 종 분류 데이터셋에서 최신 기준 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 온라인 EM 기반 FVE 레이어는 CUB-200-2011 데이터셋에서 91.1%의 최신 기준 정확도를 달성하였으며, 이는 이전 방법의 90.3%에서 향상된 성능이다.
• NA-Birds 데이터셋에서는 정확도가 89.2%에서 90.3%로 향상되어 향상된 성능을 보였다.
• Birdsnap 데이터셋에서는 84.9%의 정확도를 달성하였으며, 이는 이전 최고 기록인 84.3%보다 0.6% 향상된 결과이다.
• 온라인 EM 알고리즘이 기울기 기반 방법에 비해 훨씬 더 우수한 GMM 파라미터 추정을 제공함을 입증하였으며, 예를 들어 ResNet50 기반으로 CUB-200-2011에서 가중치가 부여되고 정규화된 유클리드 거리가 21.49로 기울기 기반 방법의 46.85보다 낮게 나타났다.
• 제거 실험을 통해 FVE는 GAP(Global Average Pooling)보다 부분 특징 집합에서 뛰어난 성능을 보였으며, ResNet50 기반으로 2.9% 향상되고 InceptionV3 기반으로는 2.3% 향상된 결과를 보였다.
• FVE 레이어는 부분 수와 순서의 변동성에 대해 강건한 성능을 보이며, 이전의 부분 기반 모델에서 흔히 볼 수 있는 빈 부분 보완 또는 고정된 순서 가정이 필요 없어졌다.