[논문 리뷰] Beyond Skip Connections: Top-Down Modulation for Object Detection

Abhinav Shrivastava, Rahul Sukthankar외 2명|arXiv (Cornell University)|2016. 12. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 336

한 줄 요약

상향식 ConvNet에 상향-하향 경로와 측면 연결을 추가하여 미세한 디테일을 보존하고 COCO 객체 탐지를 향상시키는 Top-Down Modulation(TDM) 네트워크를 도입한다.

ABSTRACT

In recent years, we have seen tremendous progress in the field of object detection. Most of the recent improvements have been achieved by targeting deeper feedforward networks. However, many hard object categories such as bottle, remote, etc. require representation of fine details and not just coarse, semantic representations. But most of these fine details are lost in the early convolutional layers. What we need is a way to incorporate finer details from lower layers into the detection architecture. Skip connections have been proposed to combine high-level and low-level features, but we argue that selecting the right features from low-level requires top-down contextual information. Inspired by the human visual pathway, in this paper we propose top-down modulations as a way to incorporate fine details into the detection framework. Our approach supplements the standard bottom-up, feedforward ConvNet with a top-down modulation (TDM) network, connected using lateral connections. These connections are responsible for the modulation of lower layer filters, and the top-down network handles the selection and integration of contextual information and low-level features. The proposed TDM architecture provides a significant boost on the COCO testdev benchmark, achieving 28.6 AP for VGG16, 35.2 AP for ResNet101, and 37.3 for InceptionResNetv2 network, without any bells and whistles (e.g., multi-scale, iterative box refinement, etc.).

연구 동기 및 목표

• 정확한 객체 탐지를 위해 초기 CNN 계층의 미세한 디테일 특징을 보존해야 할 필요성을 동기 부여한다.
• 상향-하향 모듈레이션 프레임워크를 제안하여 높은 수준의 컨텍스트를 하위 계층으로 선택적으로 전달한다.
• TDM을 표준 탐지 파이프라인과 함께 엔드-투-엔드로 학습 가능함을 입증한다.
• TDM이 COCO에서 다양한 백본 아키텍처에 걸쳐 일관된 이익을 낳는다는 것을 보여준다.

제안 방법

• 상향식 ConvNet에 측면 모듈을 통해 연결된 Top-Down Modulation(TDM) 네트워크를 추가한다.
• 측면 모듈은 하향식 모듈이 낮은 수준의 특징을 변환하도록 하고, 상향식 모듈은 컨텍스트를 낮은 수준의 특징과 융합해 업샘플링한다.
• 전체 TDM 강화 탐지기를 Faster R-CNN 프레임워크 내에서 엔드-투-엔드로 학습한다.
• T, L, T_out 모듈의 용량을 변화시켜 표현 크기를 제어하고 RPN/RCN 헤드와의 호환성을 확보한다.
• 학습 중에 고층에서 저층으로 진행하면서 TDM 페어(L_i, T_{i+1,i})를 점진적으로 추가한다.
• VGG16, ResNet101, InceptionResNetv2 백본에서 TDM이 탐지 성능을 개선함을 입증하고, 애블레이션을 제시한다.

실험 결과

연구 질문

• RQ1 상향식 모듈레이션이 초기 CNN 계층의 미세한 디테일 보존을 통해 객체 탐지 성능을 향상시키는가?
• RQ2 상향식 및 측면 모듈의 설계(용량, 배치, 업샘플링)가 탐지기 성능을 최대화하는 방법은 무엇인가?
• RQ3 TDM을 Faster R-CNN과 같은 기존 탐지기와 함께 다양한 백본에서 엔드-투-엔드로 학습할 수 있는가?
• RQ4 다양한 아키텍처에서 작은 객체 및 위치 정밀도(AP, AP75)에 미치는 TDM의 영향은 어떠한가?

주요 결과

• TDM은 백본 전반에 걸쳐 상당한 AP 이점을 제공합니다: VGG16 + TDM 28.6 AP vs 23.3 AP 기반 대비.
• ResNet101 + TDM 35.2 AP vs 31.5 AP 기반 대비.
• InceptionResNetv2 + TDM 37.3 AP vs 34.7 AP 기반 대비.
• COCO testdev에서 IRNv2를 활용한 TDM이 당시의 단일 모델 최상 성능인 37.3 AP를 달성.
• TDM은 작은 객체 탐지(AP^S)와 위치 정밀도(AP^75)을 여러 아키텍처에서 크게 향상시킴.
• 애블레이션 결과는 상향식 컨텍스트의 도입 및 선택적 저수준 특징 모듈화의 이점을 보여준다.