[논문 리뷰] PROB: Probabilistic Objectness for Open World Object Detection

Orr Zohar, Kuan-Chieh Wang외 1명|arXiv (Cornell University)|2022. 12. 02.

Advanced Neural Network Applications인용 수 5

한 줄 요약

PROB는 잠재 공간 내에서 특징 분포를 추정하고 알려진 객체에 대한 가능도를 최대화하는 것을 번갈아가며 작동하는 확률적 오브젝트니스 프레임워크를 소개한다. 이는 개방형 세계 객체 검출에서 최신 기술 수준의 성능을 달성한다. PROB는 MS-COCO와 PASCAL VOC 벤치마크에서 알려진 객체에 대해 약 10% 향상된 mAP와 비_unknown 객체에 대해 약 2배 높은 검출률을 달성한다. 이는 탄성 변형 DETR와 함께 공동으로 훈련함으로써 달성된다.

ABSTRACT

Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection ($\sim 2 imes$ unknown recall) and known object detection ($\sim 10\%$ mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.

연구 동기 및 목표

• 표준 객체 검출기가 비_unknown 객체를 배경으로 잘못 분류함으로써 실패하는 개방형 세계 객체 검출(OWOD)에서 비_unknown 객체를 탐지하는 과제를 해결한다.
• 비_unknown 객체와 배경을 구분하기 위한 지도 학습이 부족한 점을 보완하기 위해 특징 공간 내에서 오브젝트니스를 확률 밀도로 모델링한다.
• 오브젝트니스 추정과 알려진 객체 가능도 최대화를 공동 최적화하여 비_unknown 객체 검출 및 알려진 객체 검출 성능을 모두 향상시킨다.
• 확률적 오브젝트니스를 활용한 능동적 예시 선택을 통해 효과적인 점진적 학습을 가능하게 하여 치명적인 잊음 현상을 감소시킨다.
• 실제 운영 환경에서의 분포 이탈에 대한 강건성과 함께 새로운 객체 탐지 능력을 향상시키는 통합 프레임워크를 개발한다.

제안 방법

• 음성 예시가 필요 없이 임bedded 특징 공간 내에서 객체 제안의 가능도를 밀도로 모델링하는 확률적 오브젝트니스 헤드를 도입한다.
• 두 훈련 단계를 번갈아 수행한다: (1) 객체 임베딩의 확률 분포 추정, (2) 알려진 객체에 해당하는 임베딩의 가능도 최대화.
• 확률적 오브젝트니스 헤드를 탄성 변형 DETR(D-DETR) 아키텍처에 통합하여 표준 검출 헤드와 함께 엔드 투 엔드 훈련이 가능하게 한다.
• 추론 시 추정된 오브젝트니스 분포를 활용해 제안을 점수 매기며, 알려진 객체, 비_unknown 객체, 배경을 구분한다.
• 점진적 학습 중 오브젝트니스 점수를 기반으로 능동적 예시 선택을 구현하여 가능도가 높은 비_unknown 객체를 우선적으로 레이블링하고 재생한다.
• 기존의 OWOD 벤치마크(MS-COCO, PASCAL VOC)를 사용하여 점진적 클래스 도입 프로토콜에 따라 훈련 및 평가를 수행한다.

Figure 1 : Comparison of PROB with other open world object detectors. (a) Query embeddings (each representing a single prediction) are extracted from an image via the deformable DETR model. (b) other open-world detectors attempt to directly distinguish between unlabeled ‘hidden’ objects and backgrou

실험 결과

연구 질문

• RQ1 객체 임베딩의 확률 밀도 모델이 개방형 세계 객체 검출에서 비_unknown 객체 탐지 성능을 향상시키는가?
• RQ2 오브젝트니스 분포 추정과 알려진 객체 가능도 최대화를 공동 최적화하는 것이 히우리스틱 가짜 레이블링보다 더 나은 일반화 성능을 낳는가?
• RQ3 확률적 오브젝트니스가 동시에 비_unknown 객체 탐지 및 알려진 객체 탐지 성능을 향상시킬 수 있는가?
• RQ4 오브젝트니스 기반의 예시 선택이 OWOD에서 점진적 학습 성능을 얼마나 향상시키는가?
• RQ5 다양한 벤치마크에서 기존 최신 기술 수준의 OWOD 모델과 비교해 본 결과, 제안된 방법은 비_unknown 검출률과 mAP 측면에서 어떤 성능을 보이는가?

주요 결과

• PROB는 MS-COCO에서 모든 기존 OWOD 방법 대비 비_unknown 객체 검출률에서 상대적 100~300% 향상된 성능을 달성한다.
• PROB는 MS-COCO의 모든 작업에서 알려진 객체 검출 mAP를 약 10% 향상시키며, OW-DETR 및 D-DETR 기반 모델을 모두 능가한다.
• PASCAL VOC에서의 점진적 객체 검출(iOD) 환경에서 PROB는 19+1 설정에서 최종 mAP 72.6을 기록하여 OW-DETR의 70.2와 ILOD의 68.2를 초월한다.
• 절단 실험 결과, 오브젝트니스 가능도 최대화 기능을 비활성화한 PROB-Obj는 알려진 객체 mAP가 극적으로 감소함을 확인하여 이 구성 요소의 중요성을 입증한다.
• 오브젝트니스 점수를 기반으로 한 능동적 예시 선택(PROB-IL)은 알려진 객체 mAP보다 비_unknown 객체 검출률 향상에 더 큰 기여를 하며, 효과적인 점진적 학습에서의 역할을 입증한다.
• 모든 클래스(알려진 + 비_unknown)를 훈련에 사용한 상한선 D-DETR 모델은 PROB보다 더 높은 mAP를 기록하지만, PROB는 비_unknown 레이블에 접근하지 못한 상태에서도 뛰어난 성능을 보이며 개방형 세계 제약 조건 하에서의 효과성을 입증한다.

Figure 2 : Overview of the proposed PROB for open-world object detection . (top) Probabilistic objectness module. The probability distribution parameters of all of the query embeddings, $\theta$ , are first estimated via the exponential moving average of the mean and covariance estimators. The Mahal