[논문 리뷰] Resolving Semantic Confusions for Improved Zero-Shot Detection

Sandipan Sarma, Sushil Kumar외 1명|arXiv (Cornell University)|2022. 12. 12.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 의미적으로 유사한 클래스를 위한 특징을 구분 가능하게 학습하기 위해 삼중손실을 사용하는 조건부 워샤르스키 GAN을 훈련하고, 사이클릭 일致성 손실을 통해 시각-의미 일치를 강제함으로써 의미적 혼동을 줄이는 생성형 제로샷 검출 방법을 제안한다. 이 방법은 MSCOCO에서 최신 기술 수준의 성능을 달성하고, PASCAL-VOC에서도 경쟁적인 결과를 내며, 알려지지 않은 클래스의 검출 mAP를 크게 향상시킨다.

ABSTRACT

Zero-shot detection (ZSD) is a challenging task where we aim to recognize and localize objects simultaneously, even when our model has not been trained with visual samples of a few target ("unseen") classes. Recently, methods employing generative models like GANs have shown some of the best results, where unseen-class samples are generated based on their semantics by a GAN trained on seen-class data, enabling vanilla object detectors to recognize unseen objects. However, the problem of semantic confusion still remains, where the model is sometimes unable to distinguish between semantically-similar classes. In this work, we propose to train a generative model incorporating a triplet loss that acknowledges the degree of dissimilarity between classes and reflects them in the generated samples. Moreover, a cyclic-consistency loss is also enforced to ensure that generated visual samples of a class highly correspond to their own semantics. Extensive experiments on two benchmark ZSD datasets - MSCOCO and PASCAL-VOC - demonstrate significant gains over the current ZSD methods, reducing semantic confusion and improving detection for the unseen classes.

연구 동기 및 목표

• 의미적으로 유사한 클래스(예: 'car'와 'train')를 구분하지 못하는 제로샷 검출에서의 의미적 혼동을 해결하기 위해.
• 특징 생성 과정에서 클래스 간 이질성 정보를 통합하여 알려지지 않은 클래스의 특징 구분 능력을 향상시키기 위해.
• 생성된 특징이 원래의 클래스 의미와 일치하도록 보장하기 위해 시각-의미 일치성을 유지하기 위해.
• 구조적 특징 합성으로 인해 제로샷 시각-의미 임베딩 공간에서 허브니스 문제를 줄이기 위해.
• 기존 및 일반화된 제로샷 검출 설정 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 보이는 클래스의 특징을 기반으로 조건부 워샤르스키 GAN(cWGAN)을 훈련하고 분류 손실을 사용하여 알려지지 않은 클래스의 특징을 생성한다.
• 의미적으로 유사한 클래스 간의 특징 간격을 강화하기 위해 융통성 있는 의미적 마진을 갖춘 삼중손실을 도입한다.
• 생성된 시각적 특징이 원래의 클래스 의미를 재구성할 수 있도록 보장하기 위해 사이클릭 일치성 손실을 적용한다.
• 조건부 GAN에서 모드 붕괴 문제를 완화하기 위해 특징 정규화를 사용하여 생성된 특징의 다양성을 향상시킨다.
• 생성된 특징을 사용해 Faster R-CNN 검출기를 미세조정함으로써, 시각 데이터 없이도 알려지지 않은 클래스를 검출할 수 있도록 한다.
• 전체 훈련 목표는 다섯 가지 손실의 조합으로 구성된다: 분류 손실, 삼중손실, 사이클릭 일치성 손실, 특징 정규화 손실, 그리고 적대적 손실.

실험 결과

연구 질문

• RQ1 삼중손실을 사용해 훈련된 생성 모델이 의미적으로 유사한 클래스 간의 특징 분리 능력을 향상시켜 제로샷 검출에서 의미적 혼동을 줄일 수 있는가?
• RQ2 생성된 시각적 특징과 그 의미 임베딩 간의 사이클릭 일치성을 강제하면 알려지지 않은 클래스의 검출 성능이 향상되는가?
• RQ3 MSCOCO 및 PASCAL-VOC와 같은 도전적인 벤치마크에서 제안된 방법은 최신 기술 수준의 ZSD 접근법보다 어떻게 비교되는가?
• RQ4 손실 구성 요소의 조합과 생성된 특징의 수가 검출 mAP에 어떤 영향을 미치는가?
• RQ5 이 방법은 저조도 또는 새로운 객체 카테고리가 포함된 실세계 시나리오로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 기존 ZSD 및 일반화된 ZSD 설정 모두에서 MSCOCO에서 최신 기술 수준의 mAP를 달성하며, 이전 방법들을 능가한다.
• PASCAL-VOC에서 이 방법은 두 번째로 높은 알려지지 않은 mAP(19.4%)를 기록했으며, 이는 이전 최고 성능에 비해 0.4% 뒤진 성능이지만, 특징 간 분리 능력이 크게 향상되었다.
• 삼중손실이 성능 향상에 가장 기여했으며, 단독으로 사용했을 때 mAP가 18.4%에서 19.4%로 상승하여 의미적 혼동 완화에 핵심적인 역할을 한다는 것을 입증한다.
• 사이클릭 일치성 손실은 특징 품질과 일관성을 향상시켜, 특히 다른 손실들과 조합했을 때 mAP 향상에 기여한다.
• 절단 실험 결과, 다섯 가지 손실 구성 요소를 모두 사용했을 때 최적의 성능을 기록했으며, MSCOCO에서 알려지지 않은 클래스당 250개의 생성 특징을 생성할 경우 검출 정확도가 가장 높았다.
• 정성적 결과는 의미적으로 유사한 클래스(예: car vs. train)의 오분류가 감소한 것을 보여주며, 검출 출력에서 의미적 혼동이 줄어든 것을 확인한다.