[논문 리뷰] Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild

Xuefeng Du, Xin Wang외 2명|arXiv (Cornell University)|2022. 03. 08.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자연 영상에서 다양한 이방성(Out-of-Distribution, OOD) 객체를 공간-시간적 이방성 정규화와 에너지 기반 불확실성 정규화를 사용해 흡수하는 새로운 미지 객체 인식 프레임워크인 STUD를 제안한다. 인간이 레이블링한 OOD 데이터가 없이도 비정상적인 영상 데이터를 활용해 결정 경계를 정규화함으로써, STUD는 SOTA(SoTA) 수준의 OOD 검출 성능을 달성하며, BDD100K에서 FPR95를 10% 이상 감소시키면서도 내부 분포(Indistribution, ID) 검출 정확도를 유지한다.

ABSTRACT

Building reliable object detectors that can detect out-of-distribution (OOD) objects is critical yet underexplored. One of the key challenges is that models lack supervision signals from unknown data, producing overconfident predictions on OOD objects. We propose a new unknown-aware object detection framework through Spatial-Temporal Unknown Distillation (STUD), which distills unknown objects from videos in the wild and meaningfully regularizes the model's decision boundary. STUD first identifies the unknown candidate object proposals in the spatial dimension, and then aggregates the candidates across multiple video frames to form a diverse set of unknown objects near the decision boundary. Alongside, we employ an energy-based uncertainty regularization loss, which contrastively shapes the uncertainty space between the in-distribution and distilled unknown objects. STUD establishes the state-of-the-art performance on OOD detection tasks for object detection, reducing the FPR95 score by over 10% compared to the previous best method. Code is available at https://github.com/deeplearning-wisc/stud.

연구 동기 및 목표

• 모델이 생소한 객체에 대해 과도하게 확신하는 예측을 내보내는 실세계 환경에서의 이방성(Out-of-Distribution, OOD) 객체 검출 문제에 대응하는 것.
• 비용이 많이 드는 OOD 데이터의 인간 레이블링이 없이도 객체 검출기가 미지 객체에 대한 불확실성을 학습할 수 있도록 하는 방법을 개발하는 것.
• 자연 영상 데이터로부터 자기지도 학습을 통해 공간-시간적 다양성을 활용해 ID와 OOD 객체 간의 결정 경계 일반화를 향상시키는 것.
• 영상의 공간적 및 시간적 다양성을 활용해 OOD 검출의 새로운 패러다임을 설정하는 것.
• 심각하게 향상된 OOD 검출 성능를 유지하면서도 내부 분포 검출 정확도를 높이는 것.

제안 방법

• 공간-시간적 이방성 정규화(Studied Spatial-Temporal Unknown Distillation, STUD)는 OOD 측정을 사용해 기준 프레임에서 미지 객체 후보를 식별하고, 이질성 기반 가중치를 활용해 특징 공간에서 선형 조합하여 다양한 흡수된 미지 객체를 생성한다.
• 다양한 영상 프레임에 걸쳐 흡수된 미지 객체를 집계함으로써 시간적 다양성을 포착하고 OOD 유사 샘플의 분포를 풍부하게 한다.
• 에너지 기반 불확실성 정규화 손실을 도입하여 불확실성 공간을 대비적으로 형상화하고, 내부 분포 객체에는 높은 점수, 흡수된 미지 객체에는 낮은 점수를 부여한다.
• 공유 백본과 불확실성 정규화 브랜치를 함께 훈련시켜 객체 검출과 OOD 검출을 동시에 최적화함으로써 결정 경계를 더욱 보수적으로 유도한다.
• 이 방법은 GAN 등을 통한 합성 OOD 생성이나 부정적 프포지션 사용을 피하며, 이는 분석 실험에서 열악한 성능을 보임을 확인한 바 있다.
• 표준 ID 레이블링만을 사용하고 자연 영상 콘텐츠에서 OOD 신호를 추출함으로써, BDD100K 및 Youtube-VIS와 같은 표준 영상 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 비레이블링된 자연 영상에서 효과적으로 OOD 객체를 흡수하여 인간의 OOD 레이블링이 없는 조건에서도 OOD 검출 성능을 향상시킬 수 있는가?
• RQ2 영상 데이터의 공간적 및 시간적 다양성을 어떻게 활용하여 모델 정규화를 위한 의미 있고 대표적인 미지 객체 프록시를 구성할 수 있는가?
• RQ3 에너지 기반 불확실성 정규화는 객체 검출에서 내부 분포와 이방성 객체 간의 결정 경계를 향상시킬 수 있는가?
• RQ4 실제 영상에서 흡수한 미지 객체가 합성 OOD 생성 또는 부정적 프포지션 기반 방법보다 OOD 검출 성능에서 뛰어난가?
• RQ5 내부 분포 검출 정확도가 저하되지 않도록 OOD 검출 성능를 얼마나 향상시킬 수 있는가?

주요 결과

• STUD는 이전 SOTA 방법 대비 BDD100K 데이터셋에서 FPR95 점수를 10.88% 감소시켜 뛰어난 OOD 검출 성능를 입증하였다.
• 이 방법은 높은 내부 분포 검출 정확도를 유지하며, OOD 일반화가 ID 성능에 비용을 치르지 않는다는 것을 보여준다.
• 정성적 결과에서는 STUD가 OOD 객체에 대한 오분류 예측을 줄이고, 이러한 오분류 예측의 신뢰도 점수를 기존의 단순 검출기보다 낮추는 것으로 나타났다.
• 분석 실험 결과, 공간-시간 정규화와 에너지 기반 정규화 모두 필수적임을 확인하였으며, 제안된 방법은 GAN 기반 합성 및 부정적 프포지션 기반 기준선보다 우수한 성능를 보였다.
• 비용이 많이 드는 OOD 레이블링이 없이도 자연 영상 데이터를 효과적으로 활용해 의미 있는 OOD 신호를 추출함으로써, 이는 OOD annotation의 필요성을 제거한다.
• 에너지 기반 불확실성 정규화는 성공적으로 불확실성 표면을 형상화하여 추론 시 ID 및 OOD 예측 간의 분리도를 향상시켰다.