[논문 리뷰] Revisiting Open World Object Detection

Xiaowei Zhao, Xianglong Liu외 4명|arXiv (Cornell University)|2022. 01. 03.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 유일한 이전 벤치마크에 대한 결함을 밝혀내고 공정한 벤치마크 구축을 위한 다섯 가지 핵심 원칙을 제안함으로써 오픈 월드 객체 검출(OWOD)을 재검토한다. 새로운 평가 지표인 Unknown Detection Recall(UDR)와 Unknown Detection Precision(UDP)를 도입하고, 비모수적 Proposal ADvisor(PAD)와 클래스별 배제 분류기(CEC)를 갖춘 새로운 프레임워크를 제안하여 미지 객체 검출 성능을 향상시키고 과신을 감소시킨다. 제안된 공정한 벤치마크에서의 실험 결과, 기존 지표와 새로운 지표 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open World Object Detection (OWOD), simulating the real dynamic world where knowledge grows continuously, attempts to detect both known and unknown classes and incrementally learn the identified unknown ones. We find that although the only previous OWOD work constructively puts forward to the OWOD definition, the experimental settings are unreasonable with the illogical benchmark, confusing metric calculation, and inappropriate method. In this paper, we rethink the OWOD experimental setting and propose five fundamental benchmark principles to guide the OWOD benchmark construction. Moreover, we design two fair evaluation protocols specific to the OWOD problem, filling the void of evaluating from the perspective of unknown classes. Furthermore, we introduce a novel and effective OWOD framework containing an auxiliary Proposal ADvisor (PAD) and a Class-specific Expelling Classifier (CEC). The non-parametric PAD could assist the RPN in identifying accurate unknown proposals without supervision, while CEC calibrates the over-confident activation boundary and filters out confusing predictions through a class-specific expelling function. Comprehensive experiments conducted on our fair benchmark demonstrate that our method outperforms other state-of-the-art object detection approaches in terms of both existing and our new metrics. Our benchmark and code are available at https://github.com/RE-OWOD/RE-OWOD.

연구 동기 및 목표

• 기존 유일한 OWOD 벤치마크에 내재된 근본적 결함을 규명하고 수정함: 비논리적인 구성, 혼란스러운 지표, 부적절한 방법 구현.
• OWOD 평가의 공정성과 타당성을 보장하기 위한 다섯 가지 핵심 평가 원칙을 수립함.
• 미지 클래스의 관점에서 검출 성능을 공정하게 평가하기 위해 특별히 설계된 두 가지 새로운 평가 프로토콜—UDR과 UDP—를 제안함.
• 기존 클래스 성능을 유지하면서도 미지 인스턴스 검출 성능을 향상시키는 새로운 효과적인 OWOD 프레임워크를 개발함.
• 새로운 공정한 벤치마크에서 제안된 프레임워크와 지표를 종합적으로 실험을 통해 검증함.

제안 방법

• 비모수적 Proposal ADvisor(PAD) 모듈을 도입하여 RPN이 지도 없이 정확한 미지 객체 제안을 식별하도록 지원함으로써, 미지 객체의 국소화 성능을 향상시킴.
• 클래스별 배제 함수를 사용하여 활성화 경계를 재조정하고 혼동되는 예측을 걸러내는 클래스별 배제 분류기(CEC)를 제안함.
• PAD에서 확정 및 안내 메커니즘을 활용하여 제안 품질을 정교화하고 배경 오분류를 감소시킴.
• 두 단계로 구성된 훈련 프로토콜을 설계하여, RPN이 PAD에 의해 유도되어 배경과의 구분을 더 잘 하도록 하고, CEC는 기존 클래스 예측의 과신을 감소시킴.
• 초파rameter 민감도 분 析을 통해 최적의 정밀도와 mAP 균형을 확보하기 위해 CEC의 IOU 임계값(φ=0.9)과 신뢰도 임계값(α=0.5)을 조정함.
• 다섯 가지 제안된 원칙에 기반하여 논리적인 클래스 진행과 점진적 작업 간 일관된 평가를 보장하는 새로운 공정한 벤치마크를 구축함.

실험 결과

연구 질문

• RQ1 기존 OWOD 벤치마크와 평가 프로토콜의 근본적 결함는 무엇이며, 이는 이전 결과의 타당성을 어떻게 훼손하는가?
• RQ2 오픈 월드 학습 정의와 일치하는 공정하고 논리적으로 일관된 OWOD를 위한 벤치마크를 어떻게 구축할 수 있는가?
• RQ3 미지 클래스의 관점에서 검출 성능을 공정하게 평가하기 위해 필요한 새로운 평가 지표는 무엇인가?
• RQ4 비모수적 모듈인 PAD는 지도 없이도 미지 제안 검출 성능을 향상시킬 수 있는가?
• RQ5 클래스별 배제 메커니즘(CEC)은 과신을 효과적으로 감소시키고, 미지 클래스와 기존 클래스 간의 구분 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 프레임워크는 새로운 벤치마크에서 UDR 21.20, UDP 36.74를 기록하여 베이스라인 ORE 모델(UDR: 20.57, UDP: 16.43)을 크게 앞서나감.
• PAD 모듈만으로도 UDR가 0.63 포인트 향상되어 정확한 미지 제안을 식별하는 데 효과적임을 입증함.
• CEC 모듈은 기존 모델 대비 UDP를 14.31 포인트 향상시켜 미지 객체 식별 능력 향상이 뚜렷하게 나타남.
• 제거 분석 결과, PAD와 CEC가 독립적으로 기여하면서도 상호보완적으로 작용함을 확인하였고, 전체 모델이 최고 성능을 달성함.
• 민감도 분 析 결과, α=0.5 및 φ=0.9일 때 mAP가 1% 이내로 감소하면서도 UDP가 14.31 포인트 향상됨.
• 새로운 벤치마크와 코드는 https://github.com/RE-OWOD/RE-OWOD 에 공개되어 향후 재현 가능하고 공정한 연구를 지원함.