[논문 리뷰] Task-Specific Context Decoupling for Object Detection

Jiayuan Zhuang, Zheng Qin외 2명|arXiv (Cornell University)|2023. 03. 02.

Advanced Neural Network Applications인용 수 32

한 줄 요약

논문은 분류와 로컬라이제이션을 위한 특징 맥락을 작업 특화 입력으로 제공함으로써 플러그앤플레이형 헤드인 TSCODE를 제안하고, 적은 추가 비용으로 탐지 성능을 향상시킵니다.

ABSTRACT

Classification and localization are two main sub-tasks in object detection. Nonetheless, these two tasks have inconsistent preferences for feature context, i.e., localization expects more boundary-aware features to accurately regress the bounding box, while more semantic context is preferred for object classification. Exsiting methods usually leverage disentangled heads to learn different feature context for each task. However, the heads are still applied on the same input features, which leads to an imperfect balance between classifcation and localization. In this work, we propose a novel Task-Specific COntext DEcoupling (TSCODE) head which further disentangles the feature encoding for two tasks. For classification, we generate spatially-coarse but semantically-strong feature encoding. For localization, we provide high-resolution feature map containing more edge information to better regress object boundaries. TSCODE is plug-and-play and can be easily incorperated into existing detection pipelines. Extensive experiments demonstrate that our method stably improves different detectors by over 1.0 AP with less computational cost. Our code and models will be publicly released.

연구 동기 및 목표

• 객체 탐지기에서 분류와 로컬라이제이션의 맥락 선호도 불일치를 동기부여합니다.
• 분류와 로컬라이제이션에 대해 작업 특화 입력 특성을 제공하는 분리된 헤드를 제안합니다.
• 분류를 위한 효율적인 Semantic Context Encoding(SCE)와 로컬라이제이션을 위한 Detail-Preserving Encoding(DPE)을 설계합니다.
• 일관된 개선으로 주류 탐지기에서 플러그앤플레이 적용성을 보여줍니다.

제안 방법

• 공유 P_l 대신 분류(G_cls_l)와 로컬라이제이션(G_loc_l)으로 작업 특화 입력을 공급해 특징 인코딩을 분리합니다.
• Semantic Context Encoding(SCE)은 P_l을 다운샘플링한 P_l과 더 높은 계층의 P_{l+1}에서 G_cls_l을 구성해 분류에 공간상으로 조잡하되 의미적으로 풍부한 특징을 제공합니다.
• Detail-Preserving Encoding(DPE)은 P_{l-1}, P_l, P_{l+1}를 가벼운 U-Net 스타일 융합으로 융합해 위치 지정을 위한 고해상도 에지-리치 특징을 제공합니다.
• 분류 헤드는 512 채널의 얕은 두 층 디자인으로 G_cls_l에서 점수를 예측하고 해상도를 회복하고 클래스별 점수를 예측하기 위해 재배치를 수행합니다.
• 로컬라이제이션 헤드는 세 수준의 특징 융합(P_{l-1}, P_l, P_{l+1})으로 G_loc_l을 계산해 바운딩 박스를 회귀합니다.
• 전체 손실은 G_cls_l의 L_cls와 G_loc_l의 L_loc를 결합하고, 분리된 입력으로 작업 간 간섭을 줄입니다.

실험 결과

연구 질문

• RQ1 분류와 로컬라이제이션의 상반된 요구를 충족시키기 위해 특징 맥 context를 어떻게 효과적으로 분리할 수 있는가?
• RQ2 작업 특화 입력이 전통적인 공유 특징의 분리 헤드보다 더 낮은 계산 비용으로 더 정확한 분류와 로컬라이제이션을 가능하게 하는가?
• RQ3 TSCODE가 서로 다른 단일 단계 검출기와 백본에서 일반화될 수 있는가?
• RQ4 SCE와 DPE 구성 요소가 탐지 성능에 미치는 정량적 영향은 어느 정도인가?
• RQ5 TSCODE가 기존 탐지 파이프라인에 플러그앤플레이로 작동하는가?　　

주요 결과

• TSCODE는 FCOS, ATSS, GFL 기본 설정에서 일관된 AP 향상을 제공합니다(예: ablations에서 AP가 약 1.3–1.4 포인트 증가하는 등).
• SCE와 DPE가 각각 성능을 향상시키며, 이들의 조합이 개별 효과의 합보다 더 큰 이득을 낳습니다.
• TSCODE는 계산 비용이 더 낮거나 동등하며 다양한 객체 크기에 대해 AP와 AR을 개선하고 학습 수렴을 가속합니다.
• COCO minival에 다수의 검출기에 TSCODE를 적용하면 baseline에 따라 약 0.5–1.4 AP 포인트의 이득이 있습니다.
• TSCODE는 ResNet-101, ResNeXt-101-32x4d, DCN 변형과 같은 백본과 결합했을 때 단일 모델 COCO test-dev에서 최첨단 성능에 도달하며, 최근의 여러 검출기를 능가합니다.