[논문 리뷰] Comparison Network for One-Shot Conditional Object Detection

Tengfei Zhang, Yue Zhang외 5명|arXiv (Cornell University)|2019. 04. 04.

Advanced Neural Network Applications참고 문헌 47인용 수 18

한 줄 요약

이 논문은 쿼리 및 타겟 특징을 추출하기 위해 시アン드로 네트워크를 사용하는 조건부 확률 문제로 탐지 문제를 공식화하는 새로운 일회성 조건부 객체 검출 프레임워크인 ComparisonNet을 제안한다. 학습 가능한 거리 측정법을 사용해 두 단계 검출기에서 이러한 특징을 비교함으로써, 미리 보지 않은 클래스에 대해 제로샷 추론을 가능하게 하며, 재학습 없이도 클래스에 관계없이 검출이 가능하고 치명적인 기억 상실을 방지하는 최신 기술 성능을 달성한다.

ABSTRACT

The current advances in object detection depend on large-scale datasets to get good performance. However, there may not always be sufficient samples in many scenarios, which leads to the research on few-shot detection as well as its extreme variation one-shot detection. In this paper, the one-shot detection has been formulated as a conditional probability problem. With this insight, a novel one-shot conditional object detection (OSCD) framework, referred as Comparison Network (ComparisonNet), has been proposed. Specifically, query and target image features are extracted through a Siamese network as mapped metrics of marginal probabilities. A two-stage detector for OSCD is introduced to compare the extracted query and target features with the learnable metric to approach the optimized non-linear conditional probability. Once trained, ComparisonNet can detect objects of both seen and unseen classes without further training, which also has the advantages including class-agnostic, training-free for unseen classes, and without catastrophic forgetting. Experiments show that the proposed approach achieves state-of-the-art performance on the proposed datasets of Fashion-MNIST and PASCAL VOC.

연구 동기 및 목표

• 충분한 훈련 샘플이 확보되지 않은 저데이터 환경에서의 객체 검출 문제를 해결하기 위해.
• 일회성 검출을 조건부 확률 문제로 공식화하여, 새로운 클래스로의 일반화 성능을 향상시키기 위해.
• 재학습 없이도 클래스에 관계없이 검출이 가능한 방법을 개발하여 추론 중 치명적인 기억 상실을 방지하기 위해.
• 재학습이나 미세조정 없이도 기존 클래스와 새로운 클래스 모두에 대해 제로샷 검출을 가능하게 하기 위해.

제안 방법

• 쿼리 및 타겟 이미지의 특징을 근사 확률로 추출하고 매핑하기 위해 시앙드로 네트워크를 활용한다.
• 두 단계 검출기를 사용하여 추출된 특징을 학습 가능한 거리 측정법과 비교함으로써 비선형 조건부 확률을 근사한다.
• 학습 가능한 거리 측정법을 사용하여 쿼리 및 타겟 특징 간의 비교를 최적화할 수 있도록 모델을 엔드 투 엔드로 훈련한다.
• 학습된 거리 측정법을 활용해 추가적인 훈련 없이도 추론 시 기존 클래스와 새로운 클래스의 객체를 모두 검출할 수 있도록 한다.
• 클래스 예측을 특징 임bedding 학습에서 분리함으로써 클래스에 관계없는 검출을 보장한다.
• 새로운 클래스에 대해 점진적인 미세조정을 피하는 방식으로, 치명적인 기억 상실에 강건한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 일회성 객체 검출을 조건부 확률 문제로 효과적으로 공식화할 수 있을까? 이는 일반화 성능 향상에 기여할 수 있는가?
• RQ2 시앙드로 네트워크를 사용해 기존 클래스와 새로운 클래스 모두에 대해 제로샷 검출을 지원할 수 있는 특징을 어떻게 추출할 수 있는가?
• RQ3 학습 가능한 거리 측정법을 사용하면 재학습 없이도 쿼리 및 타겟 특징 간의 정확한 비교를 가능하게 할 수 있는가?
• RQ4 제안된 프레임워크는 이전에 보지 않은 클래스를 검출할 때 치명적인 기억 상실을 방지하는가?
• RQ5 Fashion-MNIST 및 PASCAL VOC와 같은 벤치마크 데이터셋에서 일회성 조건 하에서의 프레임워크 성능은 어떠한가?

주요 결과

• ComparisonNet은 제안된 Fashion-MNIST 및 PASCAL VOC 일회성 검출 벤치마크에서 최신 기술 성능을 달성한다.
• 초기 학습 이후 추가적인 훈련 없이도 기존 클래스와 새로운 클래스의 객체를 모두 성공적으로 검출한다.
• 프레임워크는 클래스에 관계없는 검출을 보여주며, 추론 시 클래스별 적응이 필요하지 않다.
• 새로운 클래스에 대해 미세조정이 필요하지 않기 때문에, 이전에 학습한 클래스의 성능을 유지함으로써 치명적인 기억 상실을 방지한다.
• 학습 가능한 거리 측정법을 사용함으로써 쿼리 및 타겟 특징 간의 효과적인 비교가 가능해져, 저데이터 환경에서의 검출 정확도 향상에 기여한다.
• 두 단계 검출기 아키텍처는 시앙드로 특징 임베딩을 효과적으로 활용하여 복잡한 조건부 확률을 모델링함으로써 검출 성능을 향상시킨다.