[논문 리뷰] Unsupervised Recognition of Unknown Objects for Open-World Object Detection

Ruohuan Fang, Guansong Pang외 3명|arXiv (Cornell University)|2023. 08. 31.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 MS COCO, LVIS, Objects365에서 알려진 객체 탐지 정확도를 유지하면서도 알려지지 않은 객체를 탐지하는 데서 발생하는 레이블 편향 문제를 완화하기 위해 재구성 오차 기반 Weibull 모델(REW)을 사용하는 새로운 비지도 프레임워크인 MEPU를 제안한다. MEPU는 오토에코더를 통해 특징 빈도 분포를 모델링하고 Weibull 통계를 활용하여 가짜로 레이블링된 제안 영역 내에서 진짜 알려지지 않은 객체와 배경 영역을 구분한다. 이로 인해 MEPU는 S-OWODB Task-1 벤치마크에서 54.8%의 R@100 성능을 달성하며 기존 최고 성능(SOTA) 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Open-World Object Detection (OWOD) extends object detection problem to a realistic and dynamic scenario, where a detection model is required to be capable of detecting both known and unknown objects and incrementally learning newly introduced knowledge. Current OWOD models, such as ORE and OW-DETR, focus on pseudo-labeling regions with high objectness scores as unknowns, whose performance relies heavily on the supervision of known objects. While they can detect the unknowns that exhibit similar features to the known objects, they suffer from a severe label bias problem that they tend to detect all regions (including unknown object regions) that are dissimilar to the known objects as part of the background. To eliminate the label bias, this paper proposes a novel approach that learns an unsupervised discriminative model to recognize true unknown objects from raw pseudo labels generated by unsupervised region proposal methods. The resulting model can be further refined by a classification-free self-training method which iteratively extends pseudo unknown objects to the unlabeled regions. Experimental results show that our method 1) significantly outperforms the prior SOTA in detecting unknown objects while maintaining competitive performance of detecting known object classes on the MS COCO dataset, and 2) achieves better generalization ability on the LVIS and Objects365 datasets.

연구 동기 및 목표

• 기존 오픈월드 객체 탐지(OWOD) 방법에서 알려진 객체 감시에 의존함으로써 비유사 영역을 배경으로 잘못 분류하는 심각한 레이블 편향 문제를 해결하기 위해.
• 비지도 영역 제안 방법으로 생성된 원시 가짜 레이블 영역에서 진짜 알려지지 않은 객체를 비지도로 식별할 수 있도록 하기 위해.
• 알려지지 않은 클래스 레이블이 필요 없이 LVIS 및 Objects365와 같은 다양한 데이터셋에서 알려지지 않은 객체에 대한 일반화 능력과 탐지 성능을 향상시키기 위해.
• 분류 기반 보정 전략 없이 반복적으로 레이블이 없는 영역으로 탐지 범위를 확장하는 자기학습 파이프라인을 개발하기 위해.
• 기존 재구성 기반 OOD 탐지 방법의 한계를 극복하기 위해 재구성 오차의 Weibull 모델링을 통한 적응형 임계값 설정을 도입하기 위해.

제안 방법

• 오토에코더를 사용해 영역 특징을 인코딩하고 재구성 오차를 Weibull 분포로 모델링하는 재구성 오차 기반 Weibull 모델(REW)을 제안하여 전경(알려지지 않은 객체)과 배경(균일한 무늬)을 구분한다.
• 다음 탐지 작업의 간섭을 피하기 위해 밀도 특징의 의미 표현력을 유지하기 위해 별도의 백본을 사용해 REW 모듈을 훈련시킨다.
• Weibull 모델의 재구성 오차 분포에서 유도된 가능도를 바탕으로 가짜 레이블 영역에 소프트 레이블을 할당한다.
• 이러한 소프트 레이블을 사용해 탐지 헤드를 통합하여 알려지지 않은 객체 예측을 개선하고 배경 영역에서의 오분류를 줄인다.
• REW 모듈에서 유고한 점수를 가진 가짜 레이블을 활용해 레이블이 없는 영역으로 탐지 범위를 확장하는 분류 기반 자기학습 전략(ROLNet)을 적용한다.
• 오토에코더와 탐지 모델을 엔드 투 엔드로 동시에 훈련하는 공동 훈련 방식을 사용하지만, 특징 편향 문제로 인해 온라인 훈련을 사용할 경우 성능 저하가 발생함을 분석하였다.

실험 결과

연구 질문

• RQ1 알려진 객체 감시에 의존하지 않고 특징 빈도 분포를 비지도로 모델링하는 것이 진짜 알려지지 않은 객체와 배경 영역을 효과적으로 구분하는 데 유용한가?
• RQ2 기존 OWOD 방법에서 객체 존재도 점수 기반 가짜 레이블링과 비교했을 때, REW 모듈의 Weibull 기반 재구성 오차 모델링이 알려지지 않은 객체 탐지 성능을 얼마나 향상시키는가?
• RQ3 자기학습 메커니즘(ROLNet)이 레이블이 없는 영역에서 이전에 보지 못한 알려지지 않은 객체를 탐지하는 데 얼마나 기여하는가?
• RQ4 LVIS 및 Objects365와 같이 다양한 객체 카테고리가 포함된 데이터셋에서, 제안된 방법이 기존 SOTA 방법보다 더 잘 일반화되는가?
• RQ5 재구성 백본을 별도로 사용하는 것과 온라인 훈련을 사용하는 것의 전체 탐지 성능과 특징 품질에 미치는 영향은 어떠한가?

주요 결과

• MEPU는 S-OWODB Task-1 벤치마크에서 알려지지 않은 객체에 대해 54.8%의 R@100 성능을 달성하며, 기존 SOTA 방법보다 뚜렷이 뛰어나다. 이는 객체 존재도 점수에 의존하고 레이블 편향 문제를 악화시키는 방법들과 대비된다.
• REW 모듈은 특징 빈도 분포를 모델링하여 배경 영역에서의 오분류를 줄이며, 하늘, 벽과 같은 균일한 무늬 영역에는 낮은 점수(0.0–0.3)를 부여하고 진짜 알려지지 않은 객체에는 높은 점수(0.7–1.0)를 할당한다.
• LVIS 및 Objects365 데이터셋에서 MEPU는 기존 OWOD 모델보다 더 뛰어난 일반화 능력을 보이며, 다양한 객체 카테고리에 대한 강건성을 입증한다.
• 절단 분석 결과, 별도의 재구성 백본 사용(MEPU-FS)이 온라인 훈련보다 성능이 뛰어나며, mAP는 -0.3점, R@100는 -4.1점 감소함을 확인하여 의미 표현력 유지의 중요성을 입증한다.
• ROLNet를 통한 자기학습은 알려지지 않은 객체 탐지 성능을 향상시키지만, OLN을 RPN 기반 가짜 레이블링으로 대체할 경우 R@100가 6.1점 하락함을 확인하여 OLN 모듈이 탐지 품질 유지에 핵심적임을 시사한다.
• 실패 사례 분석에서 복잡한 배경이나 부분적 객체 탐지에서의 한계를 확인하였으며, 의미론적 감시가 부족한 탓에 무늬가 있는 배경이나 객체 일부를 잘못 알려지지 않은 객체로 분류하는 경우가 있다.