[논문 리뷰] Polarity Loss for Zero-shot Object Detection

Shafin Rahman, Salman Khan외 1명|arXiv (Cornell University)|2018. 11. 22.

Multimodal Machine Learning Applications참고 문헌 53인용 수 45

한 줄 요약

논문은 Zero-shot 객체 탐명을 위한 시각-의미 정렬을 개선하기 위해 단어-어휘 인식 기반의 학습과 단일 단계 RetinaNet 기반 검출기를 도입하여, MS-COCO와 Pascal VOC에서 unseen 객체에 대해 상당한 mAP 향상을 보입니다.

ABSTRACT

Conventional object detection models require large amounts of training data. In comparison, humans can recognize previously unseen objects by merely knowing their semantic description. To mimic similar behaviour, zero-shot object detection aims to recognize and localize 'unseen' object instances by using only their semantic information. The model is first trained to learn the relationships between visual and semantic domains for seen objects, later transferring the acquired knowledge to totally unseen objects. This setting gives rise to the need for correct alignment between visual and semantic concepts, so that the unseen objects can be identified using only their semantic attributes. In this paper, we propose a novel loss function called 'Polarity loss', that promotes correct visual-semantic alignment for an improved zero-shot object detection. On one hand, it refines the noisy semantic embeddings via metric learning on a 'Semantic vocabulary' of related concepts to establish a better synergy between visual and semantic domains. On the other hand, it explicitly maximizes the gap between positive and negative predictions to achieve better discrimination between seen, unseen and background objects. Our approach is inspired by embodiment theories in cognitive science, that claim human semantic understanding to be grounded in past experiences (seen objects), related linguistic concepts (word vocabulary) and visual perception (seen/unseen object images). We conduct extensive evaluations on MS-COCO and Pascal VOC datasets, showing significant improvements over state of the art.

연구 동기 및 목표

• Motivate zero-shot object detection (ZSD) to locate and recognize unseen objects using semantic descriptions.
• Improve visual-semantic alignment by refining semantic embeddings and maximizing margins between positive and negative predictions.
• Introduce Polarity Loss that combines a focal-style loss with a margin-based penalty to handle object-background imbalance and unseen-background confusion.
• Leverage an external vocabulary and metric learning to reshape semantic representations for better alignment with visual features.
• Evaluate on MS-COCO and Pascal VOC with new seen/unseen splits and report improvements over prior methods.

제안 방법

• Polarity Loss를 제안하며, Focal Loss를 기반으로 양성/음성 클래스 예측 간의 마진을 극대화하는 단조로운 페널티를 추가합니다( Eq. 6 ).
• penalty function f_p를 도입하며, ground-truth 클래스 ℓ에 비해 음성들이 p^i < p^ℓ 를 가지도록 beta-가중 시그모이드(또는 소프트플러스 변형)로 구현합니다( Eq. 5 ).
• 분류 및 회귀 헤드가 특징을 의미론적으로 해석 가능한 워드 벡터 공간으로 투사하는 엔드투엔드 단일 단계 검출기(RetinaNet)로 확장합니다( Eq. 9/10 ).
• 고정된 seen-word 임베딩 또는 어휘 기반 메트릭 학습 메커니즘(δ(W_s MD))을 통해 시맨틱 정보를 워드 벡터로 임베딩하여 시각 특징과 더 넓은 어휘를 연결합니다(Fig. 5c).
• 사전을 이용한 어휘 기반 메트릭 학습 접근법을 적용하여 시맨틱 표현을 업데이트하고, 학습 가능한 어텐션 M과 D를 활용해 p_v를 얻고 시맨틱 정보를 분류와 회귀 분기 모두에 통합합니다(Eq. 10).
• classifier의 시맨틱 표현에 대한 두 가지 구현Variant: (a) 고정된 W_s와 단순 프로젝션, (b) 어휘-어텐션 변형으로 M과 D를 사용하는 Variant( Fig. 7 ).
• Polarity Loss로 분류를 학습하고 회귀에는 표준 Smooth L1을 사용하며, 앵커 기반 샘플링과 NMS를 추론에 사용합니다; unseen 점수는 별도의 unseen-weighted 프로젝션(Eq. 11)으로 계산합니다.

실험 결과

연구 질문

• RQ1 시각-의미 정렬을 어떻게 강화하여 unseen 객체를 배경과 구분할 수 있을까?
• RQ2 margin 기반의 polarity loss가 표준 focal loss를 넘어 seen, unseen, background 클래스를 더 잘 구분하게 할 수 있을까?
• RQ3 외부 어휘와 어휘 기반 메트릭 학습을 도입하면 제로샷 탐지 성능이 향상될까?
• RQ4 제안된 손실 함수와 함께 RetinaNet 같은 단일 단계 검출기가 ZSD에서 prior ZSD 방법과 비교해 어떤 성능을 보일까?
• RQ5 새로운 MS-COCO seen/unseen 분할이 제로샷 탐지 결과에 어떤 영향을 미치는가?

주요 결과

• 제로샷 탐지에서 MS-COCO와 Pascal VOC에 대해 기존 연구 대비 상당한 개선이 있었다.
• MS-COCO에서 두 가지 이전 방법 대비 mAP에서 9.3 및 7.6의 절대 증가가 보고되었고(인용된 수치), 다른 항목에서도 관련 결과가 관찰되었다.
• 실험에서 unseen 클래스에서 최고의 mAP를 달성한다.
• 어휘 주도 시맨틱 정제는 unseen-background 혼동을 줄이고 도메인 간 정렬을 개선한다는 것을 보여준다.
• Polarity Loss를 갖춘 단일 단계 검출기가 seen 클래스의 성능을 유지하면서 unseen 객체를 효과적으로 탐지 및 위치화할 수 있음을 보여준다.