[논문 리뷰] Contrastive Object Detection Using Knowledge Graph Embeddings

Christopher Lang, Alexander Braun외 1명|arXiv (Cornell University)|2021. 12. 21.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 객체 검출 모델에서 표준 one-hot 클래스 표현 방식을 대체하기 위해 지식 그래프 임베딩(e.g., ConceptNet, GloVe)을 클래스 프로토타입으로 통합하는 것을 제안한다. 시각적 특징을 의미적 임베딩과 정렬하기 위해 대비 손실을 사용함으로써, COCO와 Cityscapes에서 기준 모델과 유사한 정확도를 달성하면서도, 특히 ConceptNet 임베딩과 코사인 거리와 함께 사용할 경우 더 의미적으로 타당한 오분류를 생성한다.

ABSTRACT

Object recognition for the most part has been approached as a one-hot problem that treats classes to be discrete and unrelated. Each image region has to be assigned to one member of a set of objects, including a background class, disregarding any similarities in the object types. In this work, we compare the error statistics of the class embeddings learned from a one-hot approach with semantically structured embeddings from natural language processing or knowledge graphs that are widely applied in open world object detection. Extensive experimental results on multiple knowledge-embeddings as well as distance metrics indicate that knowledge-based class representations result in more semantically grounded misclassifications while performing on par compared to one-hot methods on the challenging COCO and Cityscapes object detection benchmarks. We generalize our findings to multiple object detection architectures by proposing a knowledge-embedded design for keypoint-based and transformer-based object detection architectures.

연구 동기 및 목표

• 객체 검출에서 one-hot 클래스 표현 방식의 한계를 해결하기 위해, 이는 클래스를 이산적이고 관련성이 없는 것으로 간주하여 의미적으로 일관되지 않은 오분류를 초래하기 때문이다.
• 자연어 처리나 지식 그래프에서 유래한 지식 기반 클래스 프로토타입이 객체 검출 예측의 의미적 일관성을 향상시킬 수 있는지 조사하기 위해.
• 다양한 지식 임베딩과 거리 측정 방법이 검출 성능과 오류 분포에 미치는 영향을 평가하기 위해.
• 이러한 지식 통합 기반 접근 방식을 두 단계 검출기, 키포인트 기반 검출기, 트랜스포머 기반 검출기 등 다양한 아키텍처로 확장하기 위해.
• 지식 통합 모델이 상호 카테고리 오분류를 줄이고 제로샷 일반화 성능을 향상시키는지 분석하기 위해.

제안 방법

• 검출 헤드에서 학습 가능한 one-hot 클래스 프로토타입을 사전에 훈련된 지식 그래프 임베딩(e.g., ConceptNet, GloVe)으로 대체한다.
• 시각적 특징 임베딩을 해당 지식 그래프 임베딩과 정렬하기 위해 대비 손실을 사용하여 의미적 유사성을 장려한다.
• 엔드 투 엔드 훈련을 유지하면서 지식 통합 분류 헤드를 Faster R-CNN, CenterNet, DETR 아키텍처에 통합한다.
• 시각적 특징과 클래스 프로토타입 간의 유사도 계산을 위해 주로 코사인 거리를 사용하여 의미적 추론을 가능하게 한다.
• 표준 훈련 프rotocols를 사용하여 COCO 2017과 Cityscapes에서 모델을 훈련하고, 임베딩 유형과 거리 측정 방법에 대한 분석 실험을 수행한다.
• one-hot 모델과 지식 통합 모델의 오류 분포 간 혼동 행렬과 제닝-숄라 분산을 비교하여 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 one-hot 클래스 프로토타입을 지식 그래프 임베딩으로 대체하면 객체 검출에서 더 의미적으로 일관된 오분류가 발생하는가?
• RQ2 다양한 지식 임베딩(e.g., ConceptNet, GloVe)과 거리 측정 방법(e.g., 코사인, L2)이 검출 성능과 오류 패tern에 어떤 영향을 미치는가?
• RQ3 지식 통합 분류 헤드는 알려지지 않은 또는 희귀 객체 카테고리로의 일반화 성능을 더 잘 향상시킬 수 있는가?
• RQ4 표준 one-hot 기반 모델 대비 지식 통합 모델이 상호 카테고리 오분류를 얼마나 줄이는가?
• RQ5 지식 임베딩 통합이 제로샷 또는 피кс샷 시나리오에서 검출의 견고성을 향상시키는가?

주요 결과

• 지식 임베딩 기반 모델은 COCO 2017 및 Cityscapes 벤치마크에서 표준 one-hot 기반 모델과 유사한 평균 정밀도를 달성한다.
• ConceptNet 임베딩과 코사인 거리를 함께 사용할 경우 상호 카테고리 오분류가 가장 낮아지며, 이는 오분류의 의미적 일관성이 향상됨을 시사한다.
• 지식 임베딩 기반 모델의 오류 분포는 진짜 카테고리 구조와 비교해 유의미하게 낮은 제닝-숄라 분산을 보이며, 더 의미적으로 타당한 오류임을 나타낸다.
• KGE 기반 모델은 알려지지 않은 객체(예: 스노모빌을 비행기가 아닌 자동차로 잘못 식별하는 것 등)에 대해 더 적은 거짓 양성 결과를 보이며, 더 나은 일반화 능력을 보여준다.
• CenterNet 아키텍처는 오류 특성에서 가장 큰 성능 격차를 보이며, 지식 임베딩 하에서 정위치화와 분류 헤드 간의 상호작용이 더 강력함을 시사한다.
• 이 방법은 두 단계 검출기, 키포인트 기반 검출기, 트랜스포머 기반 검출기 등 다양한 아키텍처로 일반화되며, 광범위한 적용 가능성을 확인한다.