[논문 리뷰] Dont Even Look Once: Synthesizing Features for Zero-Shot Detection

Pengkai Zhu, Hanxiao Wang외 1명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 39인용 수 6

한 줄 요약

이 논문은 비지도 학습 기반 객체 검출 프레임워크인 DELO를 제안한다. 이는 조건부 variational autoencoder(CVAE)를 사용하여 미사용 클래스의 시각적 특징을 합성함으로써, 미사용 객체를 포함하는 바운딩 박스에 대한 신뢰도 예측을 향상시킨다. 학습 과정에서 합성된 미사용 특징을 추가하고, 전경과 배경을 균형 잡기 위한 재표본 전략을 도입함으로써, Pascal VOC 및 MSCOCO에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 테스트 시 미사용 데이터에 대한 애너테이션을 요구하지 않으며, 미사용 클래스에 대한 검출 정확도를 크게 향상시킨다.

ABSTRACT

Zero-shot detection, namely, localizing both seen and unseen objects, increasingly gains importance for large-scale applications, with large number of object classes, since, collecting sufficient annotated data with ground truth bounding boxes is simply not scalable. While vanilla deep neural networks deliver high performance for objects available during training, unseen object detection degrades significantly. At a fundamental level, while vanilla detectors are capable of proposing bounding boxes, which include unseen objects, they are often incapable of assigning high-confidence to unseen objects, due to the inherent precision/recall tradeoffs that requires rejecting background objects. We propose a novel detection algorithm Dont Even Look Once (DELO), that synthesizes visual features for unseen objects and augments existing training algorithms to incorporate unseen object detection. Our proposed scheme is evaluated on Pascal VOC and MSCOCO, and we demonstrate significant improvements in test accuracy over vanilla and other state-of-art zero-shot detectors

연구 동기 및 목표

• 기본적인 검출기가 미사용 객체를 포함하는 바운딩 박스에 대해 높은 신뢰도를 부여하지 못하는 비지도 객체 검출의 핵심적 한계를 해결하기 위해.
• 낮은 객체 존재 확률 점수로 인해 미사용 객체가 필터링되는 정밀도-재현율 간 상충 문제를 극복하기 위해.
• 학습 시 미사용 클래스의 애너테이션 예시가 필요 없이도 테스트 시기 동안 기존 및 미사용 객체를 모두 검출할 수 있도록 하기 위해.
• 기존 클래스와 미사용 클래스의 시각적 특징을 합성하여 학습 파이프라인에 통합함으로써 일반화 능력과 신뢰도 예측 능력을 향상시키기 위해.

제안 방법

• 미사용 객체 클래스의 의미적 임bedding을 기반으로, 조건부 변동형 오토인코더(CVAE)를 학습시켜 합성된 시각적 특징을 생성한다.
• 특징 품질과 일관성을 향상시키기 위해 재구성 손실, 신뢰도 예측 손실, 분류 손실을 조합한 복합 손실 함수로 CVAE를 최적화한다.
• 특징 생성을 감독하고 의미적 일치를 보장하기 위해, 신뢰도 예측기와 속성 분류기를 포함한 시각적 일관성 체크 모듈을 도입한다.
• 전경과 배경 샘플 간 균형을 맞추기 위해, 포칼 손실에 영감을 받은 재표본 전략을 학습 중 적용하여, 미사용 객체에 대한 재현율을 향상시킨다.
• 기존 클래스와 미사용 클래스 모두에 대해 합성 특징을 생성하고, 이를 학습 데이터에 보완함으로써 검출기가 강력한 신뢰도 점수를 학습할 수 있도록 한다.
• 실제 기존 클래스 특징, 합성된 기존 클래스 특징, 합성된 미사용 클래스 특징을 함께 학습시켜, 기존 및 미사용 클래스 전반에 걸쳐 일반화된 신뢰도 예측기를 개발한다.

실험 결과

연구 질문

• RQ1 미사용 객체 클래스에 대한 합성된 시각적 특징이 비지도 객체 검출에서 신뢰도 예측에 기여하는가?
• RQ2 학습 파이프라인에 합성 특징을 통합할 경우, 미사용 클래스에 대한 검출 성능에 어떤 영향을 미치는가?
• RQ3 시각적 일관성 체크 모듈의 구성 요소(신뢰도 예측기, 속성 분류기)가 특징 품질과 검출 정확도에 미치는 영향은 무엇인가?
• RQ4 합성된 미사용 예제의 수가 검출 성능과 모델 수렴에 어떤 영향을 미치는가?
• RQ5 학습 중 재표본 전략이 전경-배경 클래스 불균형 문제를 어느 정도 완화하고, 미사용 객체에 대한 재현율을 향상시키는가?

주요 결과

• DELO는 테스트 시 미사용(TU) 및 테스트 믹스(TM) 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, Pascal VOC의 10/10 분할에서 오직 합성된 미사용 특징만을 사용할 경우 TU mAP가 59.5에 도달한다.
• 신뢰도 예측기와 속성 분류기를 포함한 시각적 일관성 체크 모듈은 성능 향상에 기여하여, 감독 없이 학습된 기존 CVAE 대비 TU mAP를 0.6 포인트 향상시켰다.
• 합성된 미사용 예제를 사용하지 않을 경우 TU 및 TM 성능이 2퍼센트 이상 감소하여, 비지도 학습 검출에서 특징 합성의 필수성을 입증한다.
• 1,000개의 합성된 미사용 예제에서 성능이 포화 상태에 도달함을 확인하여, 효과적인 일반화를 위해 적은 수의 고품질 특징으로도 충분함을 시사한다.
• 재표본 전략은 전경-배경 불균형 문제를 효과적으로 완화하여, 기존 클래스의 정밀도를 떨어뜨리지 않은 채로 미사용 객체에 대한 재현율을 향상시켰다.
• 비지도 인식 모델의 파라미터 튜닝 없이도 DELO는 높은 품질의 바운딩 박스를 유지하며, 예측의 대부분이 미사용 객체를 정확하게 국소화하고 있음을 확인했다.