[논문 리뷰] Expanding Low-Density Latent Regions for Open-Set Object Detection

Jiaming Han, Yuqiang Ren외 4명|arXiv (Cornell University)|2022. 03. 28.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 잠재 공간 내 저밀도 영역을 확장하여 미지 객체 식별을 향상시키는 새로운 오픈세트 객체 검출 프레임워크인 OpenDet를 제안한다. 인스턴스 수준의 대비 학습과 불확실성 기반의 미지 확률 추정을 결합함으로써 OpenDet는 여섯 개의 벤치마크에서 절대 오픈세트 오차(AOSE)를 25%-35% 감소시키며, 클로즈세트 정확도에 영향을 주지 않는다.

ABSTRACT

Modern object detectors have achieved impressive progress under the close-set setup. However, open-set object detection (OSOD) remains challenging since objects of unknown categories are often misclassified to existing known classes. In this work, we propose to identify unknown objects by separating high/low-density regions in the latent space, based on the consensus that unknown objects are usually distributed in low-density latent regions. As traditional threshold-based methods only maintain limited low-density regions, which cannot cover all unknown objects, we present a novel Open-set Detector (OpenDet) with expanded low-density regions. To this aim, we equip OpenDet with two learners, Contrastive Feature Learner (CFL) and Unknown Probability Learner (UPL). CFL performs instance-level contrastive learning to encourage compact features of known classes, leaving more low-density regions for unknown classes; UPL optimizes unknown probability based on the uncertainty of predictions, which further divides more low-density regions around the cluster of known classes. Thus, unknown objects in low-density regions can be easily identified with the learned unknown probability. Extensive experiments demonstrate that our method can significantly improve the OSOD performance, e.g., OpenDet reduces the Absolute Open-Set Errors by 25%-35% on six OSOD benchmarks. Code is available at: https://github.com/csuhan/opendet2.

연구 동기 및 목표

• 클로즈세트 가정 하에 미지 카테고리가 알려진 클래스로 잘못 분류되는 오픈세트 객체 검출(OSOD)의 과제를 해결한다.
• 기존의 임계값 기반 방법이 제한된 저밀도 영역만 유지하여 모든 미지 객체를 커버하지 못하는 한계를 극복한다.
• 추가 학습 데이터나 복잡한 후처리가 필요 없이, 잠재 공간 내 저밀도 영역을 확장함으로써 미지 객체를 식별하는 방법을 개발한다.
• 클로즈세트 검출 정확도를 유지하면서 오픈세트 일반화 성능을 크게 향상시킨다.
• 클로즈세트 데이터로 훈련된 검출기를 최소한의 수정으로 오픈세트 환경에 직접 구현할 수 있도록 한다.

제안 방법

• 지식 클래스의 내부 밀도를 높이고 클래스 간 분리도 향상시키기 위해, 대비 특징 학습자(CFL)를 갖춘 이중 학습자 프레임워크를 도입함으로써, 미지 객체를 위한 저밀도 잠재 공간을 확장한다.
• 미지 확률 학습자(UPL)를 사용하여 인스턴스 수준의 불확실성을 추정하고 예측 신뢰도 기반으로 미지 확률을 할당함으로써, 동적 임계값 설정을 통한 미지 객체 검출을 가능하게 한다.
• 인스턴스 수준의 대비 학습을 활용하여 알려진 클래스 내 특징의 변동성을 최소화함으로써, 자연스럽게 미지 객체의 저밀도 영역 부피를 증가시킨다.
• UPL을 최적화하여 클로즈세트 정확도를 유지하면서도, 잠재 공간의 더 많은 영역을 저밀도 영역으로 분할하는 임계값 유사한 미지 확률을 학습한다.
• 추론 시, 어떤 객체의 미지 확률이 모든 알려진 클래스의 것보다 높으면 이를 미지 객체로 분류함으로써 직접적인 오픈세트 검출을 가능하게 한다.
• 추가로 미지 클래스 데이터나 복잡한 후처리가 필요 없이, 오직 클로즈세트 애너테이션만을 사용하여 모델을 엔드 투 엔드로 훈련한다.

Figure 1: Trained on close-set images, (a) threshold-based methods , e.g. , Faster R-CNN, usually misclassify unknown objects (black triangles, e.g. zebra) into known classes (colored dots, e.g. horse) due to limited low-density regions (in gray color). (b) Our method identifies unknown objects by e

실험 결과

연구 질문

• RQ1 잠재 공간 내 저밀도 영역을 확장하는 것이 오픈세트 객체 검출에서 미지 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 추가적인 미지 클래스 애너테이션이나 복잡한 후처리에 의존하지 않고, 어떻게 효과적으로 미지 객체를 식별할 수 있는가?
• RQ3 인스턴스 수준의 대비 학습과 불확실성 기반의 확률 추정은 알려진 클래스와 미지 클래스 간의 분리 성능을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 오픈세트 일반화 성능을 크게 향상시키는 동시에 높은 클로즈세트 검출 정확도를 유지할 수 있는가?
• RQ5 미지 클래스 데이터 또는 복잡한 훈련 절차를 요구하는 최신 기준 대비, 제안된 방법의 성능는 어떻게 비교되는가?

주요 결과

• OpenDet는 이전 방법 대비 여섯 개의 오픈세트 객체 검출 벤치마크에서 절대 오픈세트 오차(AOSE)를 25%-35% 감소시킨다.
• PASCAL VOC 및 COCO 기반 오픈세트 설정에서, ResNet-50을 사용할 경우 OpenDet는 14.95 WI와 11,286 AOSE를 기록하며, FR-CNN(18.39 WI, 15,118 AOSE)을 능가한다.
• Swin-T 백본을 사용할 경우 OpenDet는 12.51 WI와 9,875 AOSE를 기록하여 기준 검출기 대비 일관된 성능 향상을 보인다.
• OpenDet는 미지 클래스 애너테이션에 접근하지 못함에도 불구하고 ORE 및 DS를 능가하며, 오픈월드 검출에서 59.01 mAP K와 5,781 AOSE를 기록하여 오라클 수준과 유사한 성능을 달성한다.
• 절단 실험 결과, CFL과 UPL 모두 성능 향상에 기여하며, 특히 UPL이 더 넓은 저밀도 영역 확장을 가능하게 한다.
• 정성적 결과에서는 OpenDet가 이전에 알려진 클래스로 잘못 분류되었던 미지 객체를 성공적으로 검출함을 보여주며, 실패 케이스는 주로 물체가 빽빽한 시나리오 또는 배경 오분류에서 발생한다.

Figure 2: t-SNE visualization of latent features. We take VOC classes as known classes (colored dots), and non-VOC classes in COCO as unknown classes (black triangles). Our method learns a clear separation between known and unknown classes.