[논문 리뷰] Cross-Supervised Object Detection

Zitian Chen, Zhiqiang Shen외 2명|arXiv (Cornell University)|2020. 06. 26.

Advanced Neural Network Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 이미지 수준 레이블만을 사용하여 기존 베이스 카테고리에서의 완전한 감독 객체 검출 지식을 활용해 새로운 카테고리에서 약한 감독 객체 검출 성능을 향상시키는 새로운 프레임워크인 크로스-감독 객체 검출(Cross-Supervised Object Detection, CSOD)을 제안한다. 검출 헤드와 인식 헤드를 통합하고, 인식과 검출을 연결하기 위해 공간 상관 모듈(Spatial Correlation Module, SCM)을 도입함으로써, COCO와 같은 복잡한 다객체 환경에서도 국소화 정확도가 크게 향상되어 이전의 약한 감독 방법들보다 훨씬 뛰어난 성능을 달성한다.

ABSTRACT

After learning a new object category from image-level annotations (with no object bounding boxes), humans are remarkably good at precisely localizing those objects. However, building good object localizers (i.e., detectors) currently requires expensive instance-level annotations. While some work has been done on learning detectors from weakly labeled samples (with only class labels), these detectors do poorly at localization. In this work, we show how to build better object detectors from weakly labeled images of new categories by leveraging knowledge learned from fully labeled base categories. We call this novel learning paradigm cross-supervised object detection. We propose a unified framework that combines a detection head trained from instance-level annotations and a recognition head learned from image-level annotations, together with a spatial correlation module that bridges the gap between detection and recognition. These contributions enable us to better detect novel objects with image-level annotations in complex multi-object scenes such as the COCO dataset.

연구 동기 및 목표

• 인스턴스 수준 레이블이 아닌 이미지 수준 레이블만 제공될 때도 새로운 카테고리에 대해 정확한 객체 검출기를 훈련시키는 문제를 해결하기 위해.
• 완전히 애너테이션된 기존 카테고리에서의 지식을 전이하여 인식과 검출 간의 국소화 격차를 줄이기 위해.
• 공통 백본과 이중 헤드를 갖춘 통합 프레임워크를 개발하여 검출 및 인식 헤드를 동시에 최적화하고, 두 헤드 간의 도메인 격차를 줄이기 위해.
• COCO와 같은 복잡한 다객체 환경에서 기존의 약한 감독 방법들이 간섭 요소와 크기 변화로 실패하는 상황에서 검출 성능을 향상시키기 위해.

제안 방법

• 기존 카테고리에서 인스턴스 수준 레이블로 훈련된 검출 헤드와 신규 카테고리에서 이미지 수준 레이블로 훈련된 인식 헤드 간에 단일 백본을 공유하는 통합 네트워크 아키텍처를 설계한다.
• 인식 헤드는 다수의 객체 제안 영역에 대해 클래스 점수를 생성하여, 진정한 바운딩 박스 없이도 약한 감독 국소화를 가능하게 한다.
• 고신뢰도 제안 영역을 인식 헤드에서 가져와 보다 정확한 진짜 바운딩 박스 유사 영역으로 회귀시키는 공간 상관 모듈(Spatial Correlation Module, SCM)을 도입함으로써 국소화 편향을 감소시킨다.
• 제안 영역의 밀도와 신뢰도를 표현하기 위해 두 채널 히트맵(최대 신뢰도 및 총 신뢰도 합)을 사용하여, 안정적인 바운딩 박스 회귀를 가능하게 한다.
• 두 단계 전략을 사용해 엔드 투 엔드로 훈련한다: 먼저 5 에포크 동안 검출 헤드의 지도 학습 없이 인식 헤드만 미세조정한 후, 이후에 모든 구성 요소를 함께 미세조정한다.
• 데이터셋의 복잡성에 따라 제안 영역 생성 방식을 조정한다: PASCAL VOC(기존 카테고리 수가 적음)에는 선택적 탐색(Selective Search)을, COCO(기존 카테고리 수가 많음)에는 RPN을 사용하여 제안 영역 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전한 감독 검출 지식을 기존 카테고리에서 얻어 이미지 수준 레이블만으로도 새로운 카테고리에서의 약한 감독 검출 성능을 향상시킬 수 있는가?
• RQ2 복잡한 환경에서 국소화 정확도를 향상시키기 위해 인식과 검출 간 격차를 어떻게 극복할 수 있는가?
• RQ3 공통 백본과 이중 헤드를 갖춘 통합 프레임워크가 약한 감독 환경에서 별도의 인식 및 검출 모델보다 우수한 성능을 낼 수 있는가?
• RQ4 공간 상관 모듈이 인식 헤드에서 유도된 제안 영역을 개선함으로써 국소화 성능을 얼마나 향상시키는가?

주요 결과

• 20개의 기존 카테고리와 60개의 새로운 카테고리로 구성된 COCO 데이터셋에서, 제안된 방법은 새로운 카테고리에서 55.7%의 AP50 성능을 기록하여, 다음으로 우수한 베이스라인인 SS(55.7% 대비 RPN 기반 방법의 42.5%)를 크게 앞서며 이전 최신 기술 수준의 방법들을 초월한다.
• 제거 분석에서, SCM의 백본으로 FCOS에 5개의 합성곱 층을 사용할 경우 성능과 계산 비용 사이의 최적의 트레이드오프를 달성한다.
• 제안된 아키텍처를 갖춘 인식 헤드는 WSDDN과 OICR보다 우수한 성능을 보이며, 통합 프레임워크 내에서 강력한 인식 헤드의 이점을 입증한다.
• 공간 상관 모듈은 국소화 오류를 효과적으로 수정한다 — 예를 들어, 머리 부분만이 아닌 전체 인체를 탐지하도록 하고, 공존하는 객체로 인한 오진 탐지(false positives)를 감소시킨다.
• PASCAL VOC에서 선택적 탐색을 사용한 제안 영역을 적용했을 경우, 새로운 카테고리에서 72.7%의 AP50 성능을 달성하여 기존 카테고리 수가 적은 상황에서도 강력한 일반화 능력을 보였다.
• 시각화 결과는 인식 헤드만으로는 특징적인 부분(예: 머리)만 국소화되는 반면, SCM과 검출 헤드가 함께 작용할 경우 더 완전하고 정확한 바운딩 박스를 생성함을 확인한다.