[논문 리뷰] Fine-grained Categorization and Dataset Bootstrapping using Deep Metric Learning with Humans in the Loop

Yin Cui, Feng Zhou외 2명|arXiv (Cornell University)|2015. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 24

한 줄 요약

이 논문은 인스타그램에서 고신뢰도 이미지를 반복적으로 부트스트랩하고, 인간 레이블러를 통해 검증하며, 진짜 양성 및 인간 레이블링된 하드 음성 샘플을 통합함으로써, 각 카테고리에 대해 구분력 있고 저차원의 임베딩을 학습하는 딥 메트릭 학습과 쌍(triplet) 손실을 사용하는 반복적이고 인간이 개입하는 프레임워크를 제안한다. 이 방법은 620개 카테고리의 꽃 데이터셋에서 정확도를 6.9% 향상시켰으며, 내부 클래스 변동성과 데이터 부족 문제를 개선함으로써 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Existing fine-grained visual categorization methods often suffer from three challenges: lack of training data, large number of fine-grained categories, and high intraclass vs. low inter-class variance. In this work we propose a generic iterative framework for fine-grained categorization and dataset bootstrapping that handles these three challenges. Using deep metric learning with humans in the loop, we learn a low dimensional feature embedding with anchor points on manifolds for each category. These anchor points capture intra-class variances and remain discriminative between classes. In each round, images with high confidence scores from our model are sent to humans for labeling. By comparing with exemplar images, labelers mark each candidate image as either a "true positive" or a "false positive". True positives are added into our current dataset and false positives are regarded as "hard negatives" for our metric learning model. Then the model is retrained with an expanded dataset and hard negatives for the next round. To demonstrate the effectiveness of the proposed framework, we bootstrap a fine-grained flower dataset with 620 categories from Instagram images. The proposed deep metric learning scheme is evaluated on both our dataset and the CUB-200-2001 Birds dataset. Experimental evaluations show significant performance gain using dataset bootstrapping and demonstrate state-of-the-art results achieved by the proposed deep metric learning methods.

연구 동기 및 목표

• 세분화된 시각 분류(FGVC)에서 데이터 부족, 많은 수의 세분화된 카테고리, 높은 내부 클래스 변동성 대 저항하는 외부 클래스 변동성의 문제를 해결한다.
• 모델의 일반화 능력과 강건성을 향상시키기 위해 인간 피드백을 활용하는 확장 가능한 종단 간 딥 메트릭 학습 시스템을 개발한다.
• 웹 소스(예: 인스타그램)에서 인간 검증된 데이터와 하드 음성 샘플을 사용해 반복적인 데이터셋 부트스트랩을 가능하게 한다.
• 통합된 메트릭 학습 프레임워크 내에서 새로 추가된 양성 이미지와 인간 레이블링된 하드 음성 샘플을 효과적으로 활용함으로써 모델 성능을 향상시킨다.
• 대규모 620개 카테고리의 꽃 데이터셋과 CUB-200-200 새 데이터셋에서 프레임워크의 효과성을 입증한다.

제안 방법

• 각 카테고리에 대해 다수의 앵커 포인트를 사용하는 쌍 기반 딥 메트릭 학습 방식을 적용하여, 내부 클래스 변동성을 포착하면서도 외부 클래스의 구분 능력을 유지하는 저차원 특징 임베딩을 학습한다.
• 마진 손실 기반으로 하드 음성 샘플을 선택하는 온라인 쌍 샘플링 전략을 구현하며, 양성 샘플은 설정 가능한 영역 내 가장 가까운 이웃들에서 추출한다.
• 인간이 개입하는 피드백 통합: 고신뢰도 예측 결과를 레이블러에게 전달하여 진짜 양성 샘플을 검증하고, 잘못된 양성 샘플(가짜 양성)을 하드 음성 샘플로 식별한다.
• 각 반복 단계에서 검증된 양성 샘플과 인간 레이블링된 하드 음성 샘플 및 자동으로 샘플된 하드 음성 샘플의 조합을 사용해 메트릭 모델을 재학습한다.
• 학습된 특징의 2차원 PCA 시각화를 통해 모델이 내부 클래스 변동성을 성공적으로 그룹화하는지 정성적으로 검증한다.
• 쌍 기반 모델을 소프트맥스 기반 베이스라인과 비교하며, 하드 음성 샘플을 하나의 새로운 카테고리로 통합하거나 여러 개의 새로운 카테고리로 처리하는 경우를 고려한다.

실험 결과

연구 질문

• RQ1 데이터가 부족한 조건에서 인간이 개입하는 피드백을 통한 딥 메트릭 학습이 세분화된 시각 분류 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 반복적인 데이터셋 부트스트랩에서 인간 레이블링된 하드 음성 샘플이 새로 추가된 양성 이미지보다 성능 향상에 얼마나 기여하는가?
• RQ3 제안된 쌍 기반 메트릭 학습 프레임워크는 높은 내부 클래스 변동성을 어떻게 다루며, 동시에 외부 클래스의 분류 능력을 유지하는가?
• RQ4 이 프레임워크는 수천 개의 카테고리가 포함된 대규모 세분화된 시각 분류 작업에 효과적으로 스케일업될 수 있는가?
• RQ5 인간 검증 데이터와 하드 음성 샘플의 통합은 표준 소프트맥스 기반 학습(하드 음성 처리 유무에 관계없이)에 비해 상당한 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 프레임워크는 베이스라인 대비 flowers-620 + Ins 데이터셋에서 6.9%의 절대 정확도 향상을 달성했으며, 이 중 3.4%는 추가된 양성 이미지에서 기인하고 3.5%는 인간 레이블링된 하드 음성 샘플에서 기인했다.
• 쌍 기반 모델(Triplet-A + HN)은 flowers-620 + Ins에서 73.7%의 정확도를 기록했으며, 최고의 소프트맥스 베이스라인(70.8% with HNM)을 크게 능가했고, 하드 음성 샘플을 효과적으로 활용하는 데서 메트릭 학습의 우수성을 입증했다.
• 쌍 손실에서 가장 가까운 이웃의 60%를 사용해 양성 샘플을 추출할 경우, flowers-620 및 CUB-200-200 데이터셋 양쪽에서 최고의 성능를 기록했다.
• 학습된 임베딩의 2차원 PCA 시각화 결과, 모델이 같은 꽃 종류 내의 색상 차이와 같은 내부 클래스 변동성을 성공적으로 특징 공간에서 그룹화하고 있음을 확인했다.
• 이 프레임워크는 11,567개의 새로운 인스타그램 이미지를 트레이닝 세트에 부트스트랩하여 총 트레이닝 이미지 수를 27,004개로 증가시켰으며, 모델 개선을 위해 240,338개의 인간 레이블링된 하드 음성 샘플을 수집했다.
• 결과는 하드 음성 샘플이 성능 향상에 양성 데이터만큼 중요하며, triplet 손실이 소프트맥스 기반 접근보다 이들을 효과적으로 활용하는 데 더 유리함을 입증한다.