[논문 리뷰] Group based deep shared feature learning for fine-grained image classification

Xuelu Li, Vishal Monga|arXiv (Cornell University)|2020. 04. 04.

Advanced Image and Video Retrieval Techniques인용 수 10

한 줄 요약

이 논문은 제약 조건이 부여된 오토인코더와 특성 표현 손실을 사용하여 특성들을 공유 및 특징성 성분으로 분해하는 그룹 기반 딥 공유 특성 학습 프레임워크인 GSFL-Net을 제안한다. 추론 과정에서 공유 특성을 제거함으로써, 세분화된 분류 정확도를 향상시키고 모델의 해석 가능성을 높이며, 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Fine-grained image classification has emerged as a significant challenge because objects in such images have small inter-class visual differences but with large variations in pose, lighting, and viewpoints, etc. Most existing work focuses on highly customized feature extraction via deep network architectures which have been shown to deliver state of the art performance. Given that images from distinct classes in fine-grained classification share significant features of interest, we present a new deep network architecture that explicitly models shared features and removes their effect to achieve enhanced classification results. Our modeling of shared features is based on a new group based learning wherein existing classes are divided into groups and multiple shared feature patterns are discovered (learned). We call this framework Group based deep Shared Feature Learning (GSFL) and the resulting learned network as GSFL-Net. Specifically, the proposed GSFL-Net develops a specially designed autoencoder which is constrained by a newly proposed Feature Expression Loss to decompose a set of features into their constituent shared and discriminative components. During inference, only the discriminative feature component is used to accomplish the classification task. A key benefit of our specialized autoencoder is that it is versatile and can be combined with state-of-the-art fine-grained feature extraction models and trained together with them to improve their performance directly. Experiments on benchmark datasets show that GSFL-Net can enhance classification accuracy over the state of the art with a more interpretable architecture.

연구 동기 및 목표

• 작은 클래스 간 시각적 차이와 큰 클래스 내 변동성으로 인해 정확한 인식이 어려운 세분화된 이미지 분류의 과제를 해결한다.
• 기존 방법들이 클래스 간 공유되는 시각적 패턴을 명시적으로 모델링하지 못하는 한계를 극복한다.
• 세분화된 분류를 위한 특징성 능력을 향상시키기 위해 공유 특성을 명시적으로 학습하고 제거하는 통합된 딥 러닝 프레임워크를 개발한다.
• 공유 최신 특성 추출기와의 호환성을 보장하기 위해, 성능 향상을 위해 공동으로 훈련할 수 있는 유연한 오토인코더를 설계한다.
• 추론 과정에서 공유 특성을 분리하고 제거함으로써, 분류 결정에 전적으로 특징성 성분에 집중함으로써 모델의 해석 가능성을 향상시킨다.

제안 방법

• 공유 시각적 패턴을 다수의 클래스 간에 식별하기 위해 기존의 세분화된 클래스들을 군집화한다.
• 입력 특성을 공유 및 특징성 성분으로 분해하는 전용 오토인코더 아키텍처를 설계한다.
• 오토인코더를 제약 조건에 따라 조정하여 공유 및 특징성 성분의 정확한 분해를 보장하는 새로운 특성 표현 손실을 도입한다.
• 사전 훈련된 특성 추출기와 함께 오토인코더를 엔드 투 엔드로 훈련함으로써 공동 최적화와 성능 향상을 달성한다.
• 추론 과정에서 분류에만 특징성 특성 성분을 사용하고, 공유 특성을 제거함으로써 혼동을 줄인다.
• 다양한 벤치마크 데이터셋에 프레임워크를 적용하여, 다양한 세분화된 인식 작업에서의 일반화 능력과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 명시적으로 공유 시각적 특성을 모델링하고 제거함으로써 세분화된 이미지 인식에서 분류 정확도를 향상시킬 수 있는가?
• RQ2 클래스의 군집화가 세분화된 카테고리 간에 의미 있는 공유 특성 패턴을 식별하는 데 얼마나 효과적인가?
• RQ3 특성 표현 손실이 부가된 제약 조건이 부여된 오토인코더가 특성들을 공유 및 특징성 성분으로 얼마나 정확히 분해할 수 있는가?
• RQ4 제안된 GSFL-Net이 기존 최신 기술의 특성 추출기와 원활하게 통합되어 성능을 향상시킬 수 있는가?
• RQ5 공유 특성을 제거함으로써 더 해석 가능하고 강건한 분류 모델이 되는가?

주요 결과

• GSFL-Net은 벤치마크 세분화된 이미지 분류 데이터셋에서 최신 기술 대비 높은 분류 정확도를 달성한다.
• 추론 과정에서 공유 특성을 제거함으로써, 시각적으로 유사한 클래스 간의 혼동이 크게 감소한다.
• 제안된 특성 표현 손실은 고정밀도로 공유 및 특징성 성분을 분리하는 데 효과적으로 오토인코더를 이끌어낸다.
• 이 프레임워크는 다양한 딥 특성 추출기와 호환되며, 통합 시 직접적인 성능 향상을 가능하게 한다.
• 모델 아키텍처는 더 해석 가능하며, 학습된 특징성 특성들이 분류 결정에 직접적인 영향을 미친다.
• 실험 결과는 클래스의 군집화가 의미 있는 공유 특성 패턴을 발견하는 데 기여하고, 전체 일반화 능력을 향상시킨다는 점을 확인한다.