[논문 리뷰] BorderDet: Border Feature for Dense Object Detection

Han Qiu, Yuchen Ma외 3명|arXiv (Cornell University)|2020. 07. 21.

Advanced Neural Network Applications참고 문헌 35인용 수 15

한 줄 요약

BorderDet는 객체 경계의 극단점에서 명시적으로 경계 특징을 활용함으로써 밀도 높은 객체 검출 성능을 향상시키는 새로운 특징 추출 연산자인 BorderAlign을 제안한다. FCOS와 FPN과 같은 검출기들에 BorderAlign을 통합함으로써, ResNet-50 기반으로는 AP를 2.8 포인트 향상시켜 41.4로 개선하고, COCO에서 ResNeXt-101-DCN 백본을 사용할 경우 50.3 AP를 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

Dense object detectors rely on the sliding-window paradigm that predicts the object over a regular grid of image. Meanwhile, the feature maps on the point of the grid are adopted to generate the bounding box predictions. The point feature is convenient to use but may lack the explicit border information for accurate localization. In this paper, We propose a simple and efficient operator called Border-Align to extract "border features" from the extreme point of the border to enhance the point feature. Based on the BorderAlign, we design a novel detection architecture called BorderDet, which explicitly exploits the border information for stronger classification and more accurate localization. With ResNet-50 backbone, our method improves single-stage detector FCOS by 2.8 AP gains (38.6 v.s. 41.4). With the ResNeXt-101-DCN backbone, our BorderDet obtains 50.3 AP, outperforming the existing state-of-the-art approaches. The code is available at (https://github.com/Megvii-BaseDetection/BorderDet).

연구 동기 및 목표

• 밀도 높은 객체 검출기에서 점 기반 특징 표현의 한계를 해결하기 위해, 정확한 국소화를 위한 명시적 경계 정보를 포함하지 않는 문제를 해결한다.
• RoI 기반 및 변형 가능 컨볼루션 방법에서 흔히 발생하는 배경 영향과 중복된 특징 추출을 줄이기 위해, 핵심 경계 점들에만 집중함으로써 특징 추출을 최적화한다.
• 앵커 기반 및 앵커리스 검출기 모두에 쉽게 통합할 수 있는 경량이고 효율적인 특징 정제 모듈을 설계한다.
• 객체 경계의 극단점들을 명시적으로 모델링하여 분류 신뢰도와 바운딩 박스 회귀 정확도를 향상시킨다.
• 복잡한 데이터 증강이나 모델 앙상블에 의존하지 않고 COCO에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 예측된 바운딩 박스의 중심점과 네 개의 극단점(좌상단, 우상단, 좌하단, 우하단)을 포함한 다섯 개의 핵심 점에서 특징을 샘플링하는 특징 추출 연산자인 BorderAlign을 제안한다.
• 이중선형 보간을 사용하여 이러한 다섯 개의 공간적 위치에서 특징 맵으로부터 고품질의 특징을 추출하며, 경계 관련 정보에 집중한다.
• 개선된 경계 특징을 사용해 분류 점수와 바운딩 박스 회귀를 모두 정교화하는 새로운 검출기 아키텍처인 BorderDet를 설계한다.
• FCOS 및 FPN과 같은 기존 검출기들에 BorderAlign 모듈을 플러그인 방식으로 통합하여 백본 또는 학습 프로토콜을 수정하지 않는다.
• 원본 점 특징과 경계 특징을 적응적으로 조합하기 위한 학습 가능한 가중치 메커니즘을 도입하여 표현력을 향상시킨다.
• 일단계 및 이단계 검출기 모두를 지원하며, RetinaNet 및 Faster R-CNN을 포함한 다양한 검출기와의 광범위한 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 특히 극단점들을 포함한 객체 경계 특징을 명시적으로 모델링하면, 밀도 높은 객체 검출기의 국소화 정확도가 향상되는가?
• RQ2 전체 바운딩 박스에 걸쳐 특징 풀링을 수행하는 것과 비교해, 경계 점에 집중된 희소한 특징 추출 전략이 효율성과 정확도 측면에서 뛰어나지 않는가?
• RQ3 BorderAlign과 같은 경량이고 미분 가능한 모듈이 다양한 최신 기술 수준의 검출기들에 효과적으로 통합되어 일관된 성능 향상을 이끌 수 있는가?
• RQ4 경계 특징은 분류 및 회귀 성능 향상에 얼마나 기여하는가, 특히 높은 IoU 임계값에서의 성능 향상은 어떠한가?
• RQ5 Multi-scale 테스트나 복잡한 데이터 증강 기법 없이도 BorderDet는 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ResNet-50 백본을 사용할 경우, BorderDet는 FCOS의 AP를 2.8 포인트 향상시켜 38.6에서 41.4로 개선하며, 국소화 및 분류 성능 향상이 뚜렷하다.
• ResNeXt-101-DCN 백본을 사용할 경우, COCO test-dev에서 50.3 AP를 기록하여, 일단계 및 이단계 검출기 중 최신 기술 수준을 달성한다.
• IoU > 0.5인 바운딩 박스 예측 수가 FCOS 대비 약 30% 증가했으며, IoU > 0.9인 예측 수는 거의 두 배로 증가했다.
• RetinaNet에 BorderDet 모듈을 추가하면 AP가 2.3 포인트 향상되어 36.1에서 38.4로 상승하여, 일단계 검출기 전반에 걸친 일반화 능력을 입증한다.
• 이단계 기반 FPN 검출기인 BorderRPN 모듈을 적용한 결과, AP가 3.6 포인트 향상되어 37.1에서 40.7로 상승하여 이단계 환경에서도 효과적임을 확인한다.
• 단지 90,000개의 학습 반복만으로도 BorderDet는 표준 설정에서 FSAF 및 CornerNet와 같은 여러 앵커리스 방법을 뛰어넘는 43.2 AP를 달성했다.