[논문 리뷰] RepMet: Representative-based metric learning for classification and one-shot object detection

Leonid Karlinsky, Joseph Shtok외 6명|arXiv (Cornell University)|2018. 06. 12.

COVID-19 diagnosis using AI인용 수 39

한 줄 요약

이 논문은 소수의 예시만 제공되는 분류 및 객체 검출을 위한 새로운 엔드 투 엔드 거리 기반 메트릭 학습 방법인 RepMet을 제안한다. 이 방법은 백본 네트워크, 임bedding 공간, 그리고 다중 모odal 클래스 대표자(혼합 모델의 모드)를 동시에 최적화하여 소수의 예시로도 높은 성능을 달성한다. 이는 세분화된 분류에서 최신 기술 수준(SOTA)을 달성하였고, ImageNet-LOC 기반의 새로운 에피소드 기반 벤치마크를 사용하여 소수의 예시로 객체 검출에서 새로운 SOTA 성능을 기록하였다. 기존 강력한 기준 모델들보다도 뚜렷한 성능 향상을 보였다.

ABSTRACT

Distance metric learning (DML) has been successfully applied to object classification, both in the standard regime of rich training data and in the few-shot scenario, where each category is represented by only a few examples. In this work, we propose a new method for DML that simultaneously learns the backbone network parameters, the embedding space, and the multi-modal distribution of each of the training categories in that space, in a single end-to-end training process. Our approach outperforms state-of-the-art methods for DML-based object classification on a variety of standard fine-grained datasets. Furthermore, we demonstrate the effectiveness of our approach on the problem of few-shot object detection, by incorporating the proposed DML architecture as a classification head into a standard object detection model. We achieve the best results on the ImageNet-LOC dataset compared to strong baselines, when only a few training examples are available. We also offer the community a new episodic benchmark based on the ImageNet dataset for the few-shot object detection task.

연구 동기 및 목표

• 각 카테고리에 대해 매우 적은 수의 학습 예제가 제공되는 소수의 예시로 객체 검출 문제를 해결하기 위해 강력하고 일반화 능력이 뛰어난 검출 프레임워크를 설계한다.
• 엔드 투 엔드 방식으로 임베딩 공간과 클래스 대표자를 함께 학습함으로써 소수의 예시 분류 성능을 향상시키며, 번갈아가며 학습하는 방식의 한계를 피한다.
• 소수의 예시로 객체 검출을 평가하기 위한 표준화된 평가를 가능하게 하기 위해 ImageNet-LOC 기반의 새로운 에피소드 기반 벤치마크를 제안한다.
• 백본, 임베딩, 클래스 대표자 간의 통합 최적화가 배경 잡음이 많은 환경에서 특히 열린 집합 인식 시나리오에서 더 뛰어난 일반화 능력과 강건성을 제공함을 입증한다.

제안 방법

• RepMet은 각 클래스를 임베딩 공간 내에서 다수의 모드로 모델링하며, 이 모드 중심이 분류를 위한 대표 벡터로 사용된다.
• 이 방법은 백본 네트워크, 임베딩 공간, 클래스 대표자(혼합 모델의 파라미터)를 하나의 통합 아키텍처에서 엔드 투 엔드로 동시에 학습한다.
• 추론 시에는 입력 특징과 각 클래스의 학습된 대표 벡터 간의 거리를 측정하여 클래스 사후 확률을 계산한다.
• 소수의 예시로 객체 검출을 위해 기존의 Faster R-CNN 검출기에서 분류기 헤드를 제거하고, 제안된 DML 서브넷으로 대체한다. 이 서브넷은 대표자 기반의 거리 스코어링을 사용한다.
• 추론 도중에는 에피소드 기반의 학습 데이터에 대해 모델을 피지컬 튜닝함으로써, 매우 적은 예시로도 새로운 카테고리에 적응할 수 있도록 한다.
• 엔드 투 엔드 학습 중 배경 ROI를 샘플링하여 분류 성능 향상을 도모하며, 별도의 배경 샘플링 방식의 비효율성을 피한다.

실험 결과

연구 질문

• RQ1 백본, 임베딩 공간, 클래스 대표자를 동시에 엔드 투 엔드로 학습하는 것이, 번갈아가며 학습하거나 외부 임베딩 학습 방식보다 소수의 예시 분류 성능 향상에 기여하는가?
• RQ2 제안된 대표자 기반 메트릭 학습 방식은 배경 잡음이 많은 환경에서 소수의 예시로도 효과적인가? 특히 저샷 설정에서의 성능은 어떠한가?
• RQ3 임베딩과 대표자를 함께 최적화하는 방식이, 무작위 또는 고정된 대표자를 사용하는 것보다 더 나은 일반화 능력을 보이는가?
• RQ4 ImageNet-LOC 기반의 새로운 에피소드 기반 벤치마크는 소수의 예시로 객체 검출을 평가하기 위한 신뢰할 수 있고 표준화된 평가 프로토콜을 제공할 수 있는가?

주요 결과

• RepMet은 여러 세분화된 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Magnet Loss나 번갈아가며 학습하는 방식을 사용한 이전 SOTA 방법들을 뛰어넘었다.
• ImageNet-LOC 소수의 예시로 객체 검출 벤치마크에서 RepMet은 모든 테스트된 방법들 중 가장 높은 mAP 성능을 기록하였으며, 강력한 기준 모델들보다도 뚜렷한 성능 격차를 확보하였다.
• 절단 분석 결과, 외부 임베딩을 사용하는 'baseline-DML-external' 방법은 배경 거부 능력이 떨어져 높은 거짓 양성률을 보이며, 통합 학습의 중요성을 입증하였다.
• 에피소드 기반 데이터에 대해 마지막 레이어와 대표자를 피지컬 튜닝함으로써 성능 향상이 추가로 이루어졌으며, 이는 모델이 새로운 카테고리에 적응하는 데 유연함을 가짐을 확인시켰다.
• 학습된 대표자를 사용하지 않고 무작위 대표자를 사용할 경우에도 볼 수 있는 클래스에 대해 높은 성능 유지를 보였으며, mAP가 약 7점 정도 감소하는 수준의 미미한 하락만을 보였다. 이는 학습된 임베딩의 강건성을 시사한다.
• 1-shot 검출 벤치마크에서 RepMet은 Recall@100이 88.2%이며, Recall@10은 65.9%를 기록하여 이미지 기반 검출의 높은 신뢰도를 입증하였다.