[논문 리뷰] Objects in Semantic Topology

Shuo Yang, Peize Sun외 7명|arXiv (Cornell University)|2021. 10. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 15

한 줄 요약

이 논문은 개방세계 객체 검출을 위한 통합 프레임워크인 세분적 토폴로지(semantic topology)를 제안한다. 이는 객체 인스턴스를 사전 정의된 의미적 노드(포함하여 '알 수 없는' 카테고리 포함)에 할당하여 특징 표현의 분류성과 일관성을 강제한다. 점진적 학습 중에 토폴로지 일관성을 유지함으로써, 기존 최고 성능(SOTA) 대비 개방세트 오차(open-set error)를 60% 이상 감소시켜 COCO-OpenWorld에서 절대 개방세트 오차(ASE) 2,120을 달성한다.

ABSTRACT

A more realistic object detection paradigm, Open-World Object Detection, has arisen increasing research interests in the community recently. A qualified open-world object detector can not only identify objects of known categories, but also discover unknown objects, and incrementally learn to categorize them when their annotations progressively arrive. Previous works rely on independent modules to recognize unknown categories and perform incremental learning, respectively. In this paper, we provide a unified perspective: Semantic Topology. During the life-long learning of an open-world object detector, all object instances from the same category are assigned to their corresponding pre-defined node in the semantic topology, including the `unknown' category. This constraint builds up discriminative feature representations and consistent relationships among objects, thus enabling the detector to distinguish unknown objects out of the known categories, as well as making learned features of known objects undistorted when learning new categories incrementally. Extensive experiments demonstrate that semantic topology, either randomly-generated or derived from a well-trained language model, could outperform the current state-of-the-art open-world object detectors by a large margin, e.g., the absolute open-set error is reduced from 7832 to 2546, exhibiting the inherent superiority of semantic topology on open-world object detection.

연구 동기 및 목표

• 기존 개방세계 객체 검출기가 알 수 없는 객체를 배경으로 간주하고 점진적 학습 중에 치명적인 기억 상실(catastrophic forgetting)을 겪는 한계를 해결한다.
• 알 수 없는 객체 인식과 점진적 학습을 하나의 프레임워크로 통합하여 생애주기 객체 검출의 강건성과 일관성을 향상시킨다.
• 모든 카테고리(알 수 없는 것 포함)가 사전 정의된 의미적 노드에 매핑되는 공식화된 토폴로지 기반 표현을 구축하여 특징의 분류성과 일관성을 보장한다.
• 임의로 생성된 의미적 앵커조차도 SOTA를 능가함을 입증함으로써, 개방세계 학습에서 토폴로지 일관성의 내재적 가치를 입증한다.

제안 방법

• 공유된 임bedding 공간 내에서 각 객체 카테고리(기존 또는 알 수 없는)를 사전 정의된 노드(중심점)에 매핑하는 의미적 토폴로지 정의.
• 객체 특징을 해당 의미적 노드 주변으로 군집화하기 위해 의미적 앵커 손실($\mathcal{L}_{sa}$)을 도입하여 내부 클래스의 밀도를 강화.
• 노드 수준에서 기존 및 알 수 없는 카테고리를 구분하기 위해 의미적 앵커 분류 손실($\mathcal{L}_{cls_{se}}$)을 적용.
• 기존 검출기와의 호환성을 확보하기 위해 알려진 카테고리 인식을 위한 표준 RoI 특징 분류 손실($\mathcal{L}_{cls_{roi}}$)을 사용.
• 사전 훈련된 언어 모델(예: CLIP, BERT) 또는 임의 벡터를 통해 의미적 앵커를 생성하여 토폴로지 정의를 유연하고 확장 가능하게 구현.
• 점진적 학습 단계 전반에 걸쳐 토폴로지 일관성을 유지하여 이전에 학습된 기존 카테고리 특징의 왜곡을 방지.

실험 결과

연구 질문

• RQ1 의미적 토폴로지 기반의 통합 프레임워크가 개방세계 객체 검출에서 알 수 없는 객체 인식과 점진적 학습을 동시에 향상시킬 수 있는가?
• RQ2 특징 토폴로지 일관성 강제가 점진적 학습 중 치명적인 기억 상실을 완화하는 데 어떤 영향을 미치는가?
• RQ3 명시적인 의미적 사전 지식 없이도, 임의 또는 사전 훈련된 의미적 앵커가 SOTA 방법을 얼마나 뛰어넘을 수 있는가?
• RQ4 의미적 앵커 군집화 손실($\mathcal{L}_{sa}$)과 분류 손실($\mathcal{L}_{cls_{se}}$)이 전체 검출 성능에 기여하는 상대적 기여도는 어느 정도인가?
• RQ5 제안된 토폴로지 기반 접근 방식이 단계별 또는 독립 모듈 기반 방법보다 개방세트 오차를 더 효과적으로 감소시키는가?

주요 결과

• 세분적 토폴로지(semantic topology)는 COCO-OpenWorld에서 절대 개방세트 오차(ASE)를 SOTA ORE의 7,832에서 2,120으로 감소시켜 상대적 감소율 73%를 기록한다.
• CLIP나 BERT에서 유도된 의미적 앵커를 사용할 경우 최고 성능을 달성하며, ASE는 2,120, mAP는 30.11로 ORE 대비 mAP에서 10.5% 향상된다.
• 임의로 생성된 의미적 앵커조차도 ORE를 능가하여 ASE 2,546, mAP 29.53를 기록함으로써, 토폴로지 일관성의 내재적 이점이 입증된다.
• 절단 실험을 통해 의미적 앵커 군집화 손실($\mathcal{L}_{sa}$)과 분류 손실($\mathcal{L}_{cls_{se}}$)이 효과적인 알 수 없는 객체 검출을 위해 필수적임을 확인한다.
• 모든 손실을 포함한 전체 모델이 최고의 성능을 기록하며, ASE 2,120, mAP 30.11를 달성함으로써 구성 요소들이 상호 보완적이고 상호 보완적인 역할을 함을 보여준다.
• 점진적 작업 전반에 걸쳐 안정된 성능을 유지하며, 기존 카테고리 특징의 왜곡이 최소화되어 의미적 토폴로지의 일관성이 확인된다.