[논문 리뷰] Single-Shot Object Detection with Enriched Semantics

Zhishuai Zhang, Siyuan Qiao외 4명|arXiv (Cornell University)|2017. 12. 01.

Advanced Neural Network Applications참고 문헌 20인용 수 14

한 줄 요약

이 논문은 단일 스텝 객체 검출기인 감지 기반 강화된 의미론(DES)을 제안한다. 이는 약한 감독을 받는 의미론적 세그멘테이션 브랜치와 글로벌 활성화 모듈을 통해 특징의 의미론을 향상시킨다. 클래스 인식 특징을 저수준 검출 특징에 융합하고, 채널 간 관계를 스스로 학습함으로써, DES는 VOC2007에서 81.7의 mAP, COCO에서 32.8의 mAP를 기록하며 최신 기술 수준(SOTA)을 달성했으며, Titan Xp GPU에서 이미지당 31.5ms의 빠른 추론 속도를 확보한다.

ABSTRACT

We propose a novel single shot object detection network named Detection with Enriched Semantics (DES). Our motivation is to enrich the semantics of object detection features within a typical deep detector, by a semantic segmentation branch and a global activation module. The segmentation branch is supervised by weak segmentation ground-truth, i.e., no extra annotation is required. In conjunction with that, we employ a global activation module which learns relationship between channels and object classes in a self-supervised manner. Comprehensive experimental results on both PASCAL VOC and MS COCO detection datasets demonstrate the effectiveness of the proposed method. In particular, with a VGG16 based DES, we achieve an mAP of 81.7 on VOC2007 test and an mAP of 32.8 on COCO test-dev with an inference speed of 31.5 milliseconds per image on a Titan Xp GPU. With a lower resolution version, we achieve an mAP of 79.7 on VOC2007 with an inference speed of 13.0 milliseconds per image.

연구 동기 및 목표

• 깊은 특징 맵에서 의미론적 이해를 향상시켜 단일 스텝 객체 검출을 향상시키는 것.
• 작은 객체 검출과 특징 품질에 악영향을 주는 저수준 검출 특징의 의미론적 빈곤을 해결하는 것.
• 밀도 높은 세그멘테이션 애너테이션을 요구하지 않고 의미론을 강화하는 방법을 제안하는 것.
• 검출 정확도를 향상시키면서도 높은 추론 속도를 유지하는 것.
• 기존 검출기와 호환되는 경량이고 모듈식 설계를 통해 효과적인 의미론적 특징 융합을 가능하게 하는 것.

제안 방법

• 경계 상자 수준의 약한 감독을 사용해 클래스 인식 의미론적 특징을 생성하는 세그멘테이션 브랜치를 도입하여 저수준 검출 특징에 통합한다.
• 고수준 특징에서 채널 간 관계와 객체 클래스 간 관계를 학습하기 위해 글로벌 활성화 모듈을 통해 채널별 주의 메커니즘을 적용한다.
• 요소별 곱셈을 통해 의미론적 특징을 원본 검출 특징과 융합하여 의미론적으로 강화된 특징 맵을 생성한다.
• 백본으로 VGG16을 사용하고, 세그멘테이션 브랜치는 첫 번째 검출 레이어(conv4_3)에 통합하며, 글로벌 활성화 모듈은 모든 검출 레이어에 통합한다.
• 추가 애너테이션이 없이도 글로벌 컨텍스트를 포착하기 위해 글로벌 활성화 모듈에서 자기 지도 학습을 활용한다.
• 단일 스텝 검출기인 SSD 스타일의 아키텍처에만 두 가지 컴포넌트(세그멘테이션 브랜치와 글로벌 활성화 모듈)를 추가함으로써 기존 검출기와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 약한 감독을 받는 의미론적 세그멘테이션은 단일 스텝 객체 검출기의 특징 의미론을 향상시킬 수 있는가?
• RQ2 의미론적 특징을 저수준 검출 특징과 융합하면, 특히 작은 객체에 대해 검출 성능이 향상되는가?
• RQ3 추가 애너테이션이 없이도 자기 지도 학습을 통해 글로벌 활성화 모듈이 고수준 특징 표현을 향상시킬 수 있는가?
• RQ4 기존의 단일 스텝 검출기인 SSD와 R-FCN와 비교해 본다면, 제안된 방법은 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ5 주요 아키텍처 변경 없이도 표준 검출 프레임워크에 효과적으로 적용 가능한가?

주요 결과

• DES는 VOC2007 테스트에서 81.7의 mAP를 기록하여 R-FCN 및 ResNet 기반 SSD와 같은 이전 최신 기술 수준(SOTA) 방법들을 능가한다.
• MS COCO 테스트-개발에서 DES는 32.8의 mAP를 기록하여 대규모이고 복잡한 데이터셋에 대한 강력한 일반화 능력을 보여준다.
• VGG16 백본을 사용할 경우, DES는 Titan Xp GPU에서 이미지당 31.5ms(초당 31.7프레임)로 이미지를 처리한다.
• 저해상도 버전인 DES300은 이미지당 13.0ms(76.8FPS)로 실행되며, VOC2007에서 mAP 79.7을 기록한다.
• 제거 실험 결과, 세그멘테이션 브랜치와 활성화 메커니즘이 필수적임을 확인했으며, 이를 제거하면 mAP가 77.6으로 떨어진다.
• 깊은 백본 모델과 비교했을 때, 이 방법은 정확도에서는 더 뛰어나면서도 경쟁 가능한 속도를 유지한다.