[논문 리뷰] LSTD: A Low-Shot Transfer Detector for Object Detection

Hao Chen, Yali Wang외 2명|arXiv (Cornell University)|2018. 03. 05.

Advanced Neural Network Applications인용 수 90

한 줄 요약

LSTD는 SSD 스타일 바운딩 박스 회귀와 Faster R-CNN 스타일의 거친-정교한 분류를 결합하고, 규제된 전이 학습(배경 억제 및 전이 지식)으로 보강하여 매우 적은 라벨링 대상 이미지에서 보이지 않는 객체를 탐지하는 저샷 전이 탐지기를 제시합니다.

ABSTRACT

Recent advances in object detection are mainly driven by deep learning with large-scale detection benchmarks. However, the fully-annotated training set is often limited for a target detection task, which may deteriorate the performance of deep detectors. To address this challenge, we propose a novel low-shot transfer detector (LSTD) in this paper, where we leverage rich source-domain knowledge to construct an effective target-domain detector with very few training examples. The main contributions are described as follows. First, we design a flexible deep architecture of LSTD to alleviate transfer difficulties in low-shot detection. This architecture can integrate the advantages of both SSD and Faster RCNN in a unified deep framework. Second, we introduce a novel regularized transfer learning framework for low-shot detection, where the transfer knowledge (TK) and background depression (BD) regularizations are proposed to leverage object knowledge respectively from source and target domains, in order to further enhance fine-tuning with a few target images. Finally, we examine our LSTD on a number of challenging low-shot detection experiments, where LSTD outperforms other state-of-the-art approaches. The results demonstrate that LSTD is a preferable deep detector for low-shot scenarios.

연구 동기 및 목표

• 깊은 객체 탐지기를 저샷 대상 도메인에 적응시키는 데 따른 라벨링 데이터의 제약 문제를 해결한다.
• 풍부한 소스 도메인 지식을 활용하여 소수 샘플 학습에 적합한 타깃 도메인 탐지기를 구성한다.
• 작은 타깃 데이터셋으로 미세 조정할 때 성능을 향상시키는 규제된 전이 학습 프레임워크를 개발한다.
• 바운딩 박스 회귀와 객체 분류를 융합한 유연한 아키텍처를 통해 저샷 탐지에서의 전이 학습을 용이하게 한다.

제안 방법

• SSD와 유사한 다중 컨볼루션 바운딩 박스 회귀를 이용한 크기 다양성 탑재와 Faster RCNN과 유사한 거친-세부 단계의 분류를 통해 견고한 객체성 및 범주 결정을 가능하게 하는 심층 LSTD 아키텍처를 설계한다.
• 대규모 소스 데이터셋에서 LSTD를 학습한 뒤, 소스로부터 타깃 도메인 LSTD를 초기화하고 주 탐지 손실과 두 개의 규제항을 포함하는 규제 손실로 미세 조정한다.
• BD(Background-Depression) 규제를 도입하여 바운드 박스의 배경 영역에서의 활성화를 억제하고 객체에 학습 초점을 맞춘다.
• TK(Transfer-Knowledge) 규제를 도입하여 소스 도메인 범주 예측의 완화된 확률분포를 타깃 도메인 제안에 대한 가이드로 사용하며 개별 객체 제안마다 구현한다.
• 총 손실을 L_total = L_main + L_BD + L_TK로 형식화하고, 기여를 균형 있게 조정하기 위한 가중치를 조정한다.
• 세 가지 전이 작업(COCO→ImageNet2015, COCO→VOC2007, ImageNet2015→VOC2010)에서 타깃 샘플이 점점 더 드문 상황(1–30샷)으로 평가한다.
• BD와 TK 규제가 저샷 성능에 미치는 영향을 분석하고 LSTD를 Faster RCNN 및 SSD와 비교한다.

실험 결과

연구 질문

• RQ1 SSD와 Faster RCNN 구성요소를 결합한 통합 아키텍처가 저샷 탐지 성능을 향상시킬 수 있는가?
• RQ2 타깃 데이터가 희소할 때 BD와 TK로 규제된 전이 학습이 미세 조정을 개선하는가?
• RQ3 실제 저샷(1–5샷) 상황에서 LSTD는 최신 약약화 지도/부분 지도 탐지기와 비교해 어떻게 성능을 보이는가?
• RQ4 ROI 풀링 계층의 선택 및 소스와 타깃 도메인 간 타깃 클래스 차이에 대해 LSTD가 얼마나 강건한가?

주요 결과

• 저샷 타깃 도메인에서 LSTD는 Faster RCNN 및 SSD보다 우수한 성능을 보인다.
• TK와 BD 규제로 미세 조정이 크게 향상되며, 특히 1–5샷에서 두드러진 개선을 보임(예: Task 2, 1샷: FT 27.1 → TK 31.8 → TK+BD 34.0).
• BD 규제는 전경에 초점을 유지하고 배경 간섭을 줄이는 데 일관되게 기여하며, BD를 위한 컨볼루션 계층(conv5_3 대 conv7)의 선택에 강건하다.
• TK 규제는 소스 도메인의 소프트 라벨을 이용해 타깃 제안을 규칙화하고 보이지 않는 타깃 카테고리에 대한 교차 도메인 전이를 개선한다.
• Task 1에서 30샷일 때 LSTD는 표의 LSTD FT에서 52.6 mAP, LSTD FT+TK+BD에서 최대 55.8 mAP를 달성하는 등 데이터가 늘어날수록 강한 성능을 보인다.
• LSTD는 매우 저샷(1–5샷) 설정에서도 약하게/부분적으로 지도된 방법 대비 경쟁력 있거나 우수한 성능을 보이며, 충분한 타깃 데이터가 주어지면 지도 학습 수준에 근접한다.