[논문 리뷰] Modelling Local Deep Convolutional Neural Network Features to Improve Fine-Grained Image Classification

Zongyuan Ge, Chris McCool외 2명|arXiv (Cornell University)|2015. 02. 27.

Advanced Neural Network Applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 내부 완전히 연결된 층의 차원을 감소시키고 선택적으로 재학습시켜 효과적인 가우시안 혼합 모델(GMM) 피팅을 가능하게 함으로써, 세분화된 이미지 분류를 위한 국소적 딥 CNN 특징 모델링 방법을 제안한다. 이 방법은 Fish 및 UEC FOOD-100 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기준 국소 모델링 대비 14.9% 상대적 향상과 음식 인식에서 9.4% 높은 랭크-1 정확도를 기록하였다.

ABSTRACT

We propose a local modelling approach using deep convolutional neural networks (CNNs) for fine-grained image classification. Recently, deep CNNs trained from large datasets have considerably improved the performance of object recognition. However, to date there has been limited work using these deep CNNs as local feature extractors. This partly stems from CNNs having internal representations which are high dimensional, thereby making such representations difficult to model using stochastic models. To overcome this issue, we propose to reduce the dimensionality of one of the internal fully connected layers, in conjunction with layer-restricted retraining to avoid retraining the entire network. The distribution of low-dimensional features obtained from the modified layer is then modelled using a Gaussian mixture model. Comparative experiments show that considerable performance improvements can be achieved on the challenging Fish and UEC FOOD-100 datasets.

연구 동기 및 목표

• 세분화된 이미지 분류에서 높은 내부 클래스 변동성과 낮은 상호 클래스 변동성을 다루는 데 도전한다.
• 기존 통계 모델(예: GMM)을 사용할 때 고차원 딥 CNN 특징 모델링에서 발생하는 차원의 극복 문제를 해결한다.
• 제한된 세분화된 데이터를 사용하여 딥 CNN의 국소 특징 추출을 위한 효율적인 방법을 개발한다.
• 저차원으로 재학습된 CNN 층에서 추출한 국소 특징을 GMM를 사용하여 모델링함으로써 분류 정확도를 향상시킨다.

제안 방법

• 사전 학습된 CNN의 내부 완전히 연결된 층(fc-6)의 차원을 감소시켜 효과적인 GMM 모델링을 가능하게 한다.
• 전체 네트워크 재학습을 피하기 위해 감소된 층만을 재학습하는 레이어 제한 재학습을 적용하여 계산 비용을 절감한다.
• 각 이미지의 저차원 국소 특징 분포를 가우시안 혼합 모델(GMM)을 사용하여 모델링한다.
• 특징 벡터에 공간 위치(x,y) 정보를 추가하여 국소화 인식 표현을 향상시킨다.
• 클래스별 모델링을 위한 일반 배경 모델(UBM) 및 평균 값만을 사용한 MAP 적응을 GMM 프레임워크에 통합한다.
• Fish 및 UEC FOOD-100 데이터셋에서 랭크-n 정확도 및 표준 프로토콜을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 내부 층에서 추출한 저차원 딥 CNN 특징은 GMM를 사용하여 세분화된 분류에 효과적으로 모델링될 수 있는가?
• RQ2 감소된 완전히 연결된 층의 레이어 제한 재학습은 전체 네트워크 미세조정 대비 특징 표현을 향상시키는가?
• RQ3 학습된 딥 특징의 국소 모델링은 세분화된 인식 작업에서 전반적 특징 표현보다 어떻게 비교되는가?
• RQ4 국소 특징에 공간 좌표를 포함시키는 것이 분류 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 Fish 및 UEC FOOD-100과 같은 벤치마크 세분화된 데이터셋에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 GMM-LDCNN 방법은 프로토콜 1a 하에서 Fish 데이터셋에서 랭크-1 정확도 53.8%를 기록하여 이전 최신 기술 수준인 Local GMM 대비 14.9% 상대적 향상을 달성하였다.
• UEC FOOD-100 데이터셋에서 GMM-LDCNN는 랭크-1 정확도 58.3%를 기록하였으며, SVM-LDCNN 기준 9.4% 상대적 향상이 있었다.
• 공간 좌표를 통합한 확장된 GMM-LDCNN-xy 버전은 Fish 데이터셋에서 성능을 추가로 향상시켜 국소 특징 모델링에서 공간적 맥락의 유용성을 입증하였다.
• 이 방법은 양 데이터셋에서 전반적 특징 베이스라인(SVM-CNN 및 SVM-LDCNN)과 PCA 감소된 CNN 특징(GMM-PCA-CNN) 모두를 초월하였다.
• ISV 모델링은 UEC FOOD-100에서 성능 향상을 이끌지 못했으며, 이는 닫힌 집합 성격과 클래스당 높은 수의 학습 이미지로 인한 것으로 보인다.
• Fish 데이터셋의 최적 파라미터는 프로토콜 1a에 대해 C=1024, B=128, NU=128였으며, 프로토콜 1b에선 C=512, B=96, NU=128였다.