[논문 리뷰] Extending One-Stage Detection with Open-World Proposals

Sachin Konan, Kevin J Liang외 1명|arXiv (Cornell University)|2022. 01. 07.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 FCOS를 사용하여 개방형 제안(OWP)을 갖춘 단계별 객체 검출을 확장하는 것을 제안하며, IOU 기반의 객체성 점수 평가 및 샘플링 전략을 도입하여 미리 보지 않은 클래스의 검출을 향상시킨다. 새로 등장한 클래스에 대해 6%의 리콜 향상을 달성하면서도 분류 정확도를 유지하며, OLN 대비 6%의 성능 저하를 보이는 두 단계 기반 모델 대비 2%의 성능 저하를 기록한다.

ABSTRACT

In many applications, such as autonomous driving, hand manipulation, or robot navigation, object detection methods must be able to detect objects unseen in the training set. Open World Detection(OWD) seeks to tackle this problem by generalizing detection performance to seen and unseen class categories. Recent works have seen success in the generation of class-agnostic proposals, which we call Open-World Proposals(OWP), but this comes at the cost of a big drop on the classification task when both tasks are considered in the detection model. These works have investigated two-stage Region Proposal Networks (RPN) by taking advantage of objectness scoring cues; however, for its simplicity, run-time, and decoupling of localization and classification, we investigate OWP through the lens of fully convolutional one-stage detection network, such as FCOS. We show that our architectural and sampling optimizations on FCOS can increase OWP performance by as much as 6% in recall on novel classes, marking the first proposal-free one-stage detection network to achieve comparable performance to RPN-based two-stage networks. Furthermore, we show that the inherent, decoupled architecture of FCOS has benefits to retaining classification performance. While two-stage methods worsen by 6% in recall on novel classes, we show that FCOS only drops 2% when jointly optimizing for OWP and classification.

연구 동기 및 목표

• 자율 주행 및 로봇 공학과 같은 실생활 응용 분야에서 새로운 카테고리의 객체를 검출하는 데 도전하는 것.
• 기존에 두 단계 기반 네트워크에 비해 새로운 클래스에서 성능이 열등한 단계별 검출기에서 개방형 제안(OWP) 성능을 향상시키는 것.
• 두 단계 기반 모델에서 관찰되는 성능 상충 관계를 극복하기 위해, 본문 클래스에서의 높은 분류 정확도를 유지하면서 OWP 최적화를 수행하는 것.
• FCOS의 아키텍처 및 샘플링 최적화를 통해 중심도(Centerness) 외의 객체성 추정을 향상시키는 것.
• 학습 중에 잘못 레이블링된 배경 샘플을 걸러내기 위해 Unknown Object Masking을 제안하고 평가하는 것.

제안 방법

• FCOS의 기본 중심도 기반 객체성 헤드를 고급 품질의 클래스 독립 제안을 더 잘 식별할 수 있도록 IOU 기반 객체성 점수로 대체한다.
• IOU 기반의 하드 음성 마이닝 전략인 IOU 샘플링을 도입하여, 임계값(0.925–0.95) 근처의 IOU 값을 가진 제안을 우선순위로 지정함으로써 일반화 성능을 향상시킨다.
• 학습 중 Unknown Object Masking을 적용하여 낮은 품질의 잘못 레이블링된 제안을 걸러내어 오분류 배경 예측을 억제한다.
• OWP 및 분류 헤드를 함께 훈련하여, FCOS의 분리된 아키텍처를 활용해 두 작업 모두에서의 성능 저하를 최소화한다.
• OWP와 분류 성능의 균형을 맞추기 위해 임계값(0.95)과 훈련 에포크 수(5k)와 같은 하이퍼파라미터를 최적화한다.
• COCO 및 LVIS 데이터셋에서 기준 클래스 AP와 신규 클래스 AR@100/AR@300를 메트릭으로 사용하여 일반화 및 강건성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 FCOS와 같은 단계별 검출기가 두 단계 기반 RPN 기반 모델과 비교해 최신 기술 수준의 개방형 제안(OWP) 성능을 달성할 수 있는가?
• RQ2 중심도 기반 점수 외에 IOU 기반 객체성 점수와 IOU 샘플링 전략이 중심도만 사용할 경우에 비해 새로운 클래스에서의 OWP 성능 향상에 얼마나 기여하는가?
• RQ3 두 단계 기반 모델 대비 FCOS가 OWP 최적화를 위해 본문 클래스에서의 분류 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 Unknown Object Masking이 잘못 레이블링된 배경 샘플에서 발생하는 노이즈를 효과적으로 줄이고 OWP 및 분류 성능을 향상시키는가?
• RQ5 제안된 최적화 전략이 LVIS와 같이 긴 꼬리 분포를 보이는 데이터셋에서도 일반화되는가?

주요 결과

• IOU 기반 객체성 점수 평가 및 IOU 샘플링 전략은 COCO에서 신규 클래스의 OWP 리콜을 4.8% 향상시키고, LVIS에서는 4.55% 향상시켜 OWP 성능에서 6%의 절대적 향상을 달성했다.
• FCOS에서 OWP와 분류 헤드를 함께 훈련한 결과, 신규 클래스의 AR100에서 2.3%의 성능 저하를 기록하여 OLN의 6.2% 저하에 비해 훨씬 우수했다.
• 공동 훈련과 Unknown Object Masking을 적용한 결과, COCO 기준으로 기준 클래스에서 46.2%의 AP, 신규 클래스에서 27.8%의 AR100 성능을 달성하여 양측 모두에서 OLN를 초월했다.
• LVIS에서 동일한 최적화 전략은 신규 클래스의 AR300을 35.30%에서 39.85%로 상승시켜 IOU 기반 객체성의 다중 데이터셋 적용 효과를 확인했다.
• Unknown Object Masking은 COCO에서는 성능 향상을 보였지만, LVIS에서는 유의미한 향상이 없었으며, 이는 데이터셋에 따라 제한이 있음을 시사하며 향후 추가 연구가 필요하다.
• FCOS의 분리된 아키텍처는 OWP와 분류 간의 성능 상충를 더 잘 조율할 수 있게 하여, 두 단계 기반 성능을 재현하면서도 정확도 저하를 최소화하는 최초의 단계별 검출기로 입증되었다.