[논문 리뷰] Learning from Rich Semantics and Coarse Locations for Long-tailed Object Detection

Lingchen Meng, Xiyang Dai외 8명|arXiv (Cornell University)|2023. 10. 18.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 이미지-텍스트 대비 모델(예: CLIP)에서 유용한 의미 정보와 굵은 이미지 수준의 바운딩 박스를 소프트 지도로 활용하여 장수체 객체 검출에 효과적인 간단한 방법인 RichSem을 제안한다. 정확한 바운딩 박스가 필요 없이도 훈련 중에 이러한 풍부하고 위치에 강건한 의미 정보를 학습하는 의미 분기를 도입함으로써, 특히 훈련 오버헤드를 최소화하면서도 희귀 카테고리의 검출 성능을 크게 향상시켜 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Long-tailed object detection (LTOD) aims to handle the extreme data imbalance in real-world datasets, where many tail classes have scarce instances. One popular strategy is to explore extra data with image-level labels, yet it produces limited results due to (1) semantic ambiguity -- an image-level label only captures a salient part of the image, ignoring the remaining rich semantics within the image; and (2) location sensitivity -- the label highly depends on the locations and crops of the original image, which may change after data transformations like random cropping. To remedy this, we propose RichSem, a simple but effective method, which is robust to learn rich semantics from coarse locations without the need of accurate bounding boxes. RichSem leverages rich semantics from images, which are then served as additional soft supervision for training detectors. Specifically, we add a semantic branch to our detector to learn these soft semantics and enhance feature representations for long-tailed object detection. The semantic branch is only used for training and is removed during inference. RichSem achieves consistent improvements on both overall and rare-category of LVIS under different backbones and detectors. Our method achieves state-of-the-art performance without requiring complex training and testing procedures. Moreover, we show the effectiveness of our method on other long-tailed datasets with additional experiments. Code is available at \url{https://github.com/MengLcool/RichSem}.

연구 동기 및 목표

• 희귀 카테고리가 데이터 부족 문제를 겪는 장수체 객체 검출 문제를 해결한다.
• 추가 데이터셋에서의 이미지 수준 레이블 사용 시 발생하는 의미 모호성과 위치 민감성 문제를 해결한다.
• 사전 학습된 시각-언어 모델에서 유용하고 강건한 의미 정보를 활용하여 희귀 카테고리의 검출 성능을 향상시킨다.
• 추가적인 추론 변경 없이도 특징 표현을 향상시키는 훈련 프레임워크를 개발한다. 복잡한 의사 레이블링이 필요하지 않다.
• LVIS 및 장수체 분포를 가진 다른 데이터셋을 포함해 다양한 백본과 데이터셋에서의 효과성을 입증한다.

제안 방법

• CLIP를 통해 추출한 풍부한 의미 정보를 이용해 굵은 이미지 수준의 바운딩 박스를 입력으로 사용하는 의미 분기를 객체 검출기에 도입한다.
• 랜덤 크롭과 같은 데이터 증강 기법에 대해 강건성을 확보하기 위해 전체 이미지를 굵은 바운딩 박스로 사용한다(즉, 모자이크 스타일 입력).
• CLIP 임베딩에서 클래스 수준의 의미 정보를 추출하여 소프트 레이블로 활용하며, 이는 훈련 중 추가 지도로 기능한다.
• 검출 헤드 손실과 의미 분기에서 유도된 디스틸레이션 손실을 통합한 통합 분류 손실을 사용해 검출기를 훈련한다.
• 훈련 후 의미 분기를 제거함으로써, 추론 오버헤드 없이 표준 검출기로 배포할 수 있다.
• 큰 규모의 균형 잡힌 분류 데이터셋(예: ImageNet-21k)을 활용하여 희귀 클래스의 훈련 데이터를 풍부하게 하되, 바운딩 박스 레이블이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 사전 학습된 시각-언어 모델에서 유용한 의미 정보를 활용해 이미지 수준의 레이블을 지도로 사용할 경우 장수체 객체 검출 성능이 향상되는가?
• RQ2 전체 이미지 박스와 같은 굵은 위치 정보를 사용하면 데이터 증강에 의한 위치 민감성 문제를 완화할 수 있는가?
• RQ3 CLIP에서 유도한 소프트 의미 정보가 희귀 카테고리 검출에 있어 one-hot 이미지 수준의 레이블보다 더 효과적인 지도로 기능하는가?
• RQ4 제안된 의미 분기는 희귀, 일반, 빈번한 카테고리 간의 특징 분리 능력을 향상시키는가?
• RQ5 복잡한 훈련 절차 없이도 다양한 백본과 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• RichSem은 LVIS에서 최신 기술 수준 성능을 달성하였으며, 희귀 카테고리에서 3.0 AP 향상을 기록했고, 모든 카테고리에서 일관된 성능 향상을 보였다.
• 강력한 사전 학습된 백본을 사용할 때조차도 희귀 카테고리에서 약 3.0 AP 향상을 기록하여 표준 사전 학습 방식을 초월했다.
• 특징 시각화 결과 RichSem은 모든 카테고리 빈도에서 잘 분리된, 내부적으로 군집화된 특징을 생성함을 보여주어 균형 잡힌 표현 학습이 이루어졌음을 시사한다.
• 의미 분기는 저샷 카테고리에서 성능을 크게 향상시키며, 디스틸레이션 가중치를 1로 설정했을 때 3.0 AP 향상을 기록했고, 빈번한 카테고리의 성능는 유지했다.
• 백본이 대규모 데이터로 사전 학습된 경우에도 이 방법이 효과를 유지함을 보여주어, 표준 사전 학습을 대체하기보다는 보완하는 것으로 확인되었다.
• 광범위한 아블레이션 분석을 통해 풍부한 의미 정보와 굵은 위치 정보가 모두 필수적임을 입증하였으며, 통합 손실 함수를 통해 검출 및 의미 정렬 최적화를 동시에 달성할 수 있었다.