[논문 리뷰] MDFN: Multi-Scale Deep Feature Learning Network for Object Detection

Wenchi Ma, Yuanwei Wu외 2명|arXiv (Cornell University)|2019. 12. 10.

Advanced Neural Network Applications참고 문헌 40인용 수 8

한 줄 요약

MDFN은 고수준 네트워크 레이어에서 유래한 다중 척도 딥 특징을 활용하여 소형 및 가림된 물체의 검출 성능을 향상시키는 단일 스포트 객체 검출기이다. 정보 사각형 및 입방형 인셉션 모듈을 깊은 레이어에 통합함으로써 계산 비용을 최소화하면서도 의미론적 및 맥락적 표현을 향상시켜 KITTI, VOC, COCO에서 최신 기술 수준의 정확도를 달성하며 유리한 속도-정확도 트레이드오프를 확보한다.

ABSTRACT

This paper proposes an innovative object detector by leveraging deep features learned in high-level layers. Compared with features produced in earlier layers, the deep features are better at expressing semantic and contextual information. The proposed deep feature learning scheme shifts the focus from concrete features with details to abstract ones with semantic information. It considers not only individual objects and local contexts but also their relationships by building a multi-scale deep feature learning network (MDFN). MDFN efficiently detects the objects by introducing information square and cubic inception modules into the high-level layers, which employs parameter-sharing to enhance the computational efficiency. MDFN provides a multi-scale object detector by integrating multi-box, multi-scale and multi-level technologies. Although MDFN employs a simple framework with a relatively small base network (VGG-16), it achieves better or competitive detection results than those with a macro hierarchical structure that is either very deep or very wide for stronger ability of feature extraction. The proposed technique is evaluated extensively on KITTI, PASCAL VOC, and COCO datasets, which achieves the best results on KITTI and leading performance on PASCAL VOC and COCO. This study reveals that deep features provide prominent semantic information and a variety of contextual contents, which contribute to its superior performance in detecting small or occluded objects. In addition, the MDFN model is computationally efficient, making a good trade-off between the accuracy and speed.

연구 동기 및 목표

• 저수준 세부 정보에만 의존하는 것과는 달리, 고수준 특징에서의 의미론적 및 맥락 정보를 활용하여 소형 및 가림된 물체 검출의 과제를 해결한다.
• 특히 매우 깊거나 넓은 아키텍처에서 전방 전파 과정에서 특징 표현이 악화되는 문제를 극복한다.
• 깊은 레이어에 특징 학습을 집중시켜 계산 효율성을 향상시키고 복잡한 계층적 구조가 필요로 하는 것을 줄인다.
• 모델 깊이나 너비를 늘리지 않고도 깊은 레이어의 특징 추상화를 향상시킴으로써 경량 기반 네트워크(VGG-16)로도 뛰어난 성능을 달성한다.
• 효율적인 다중 척도 특징 학습을 통해 실시간 추론 속도를 확보하면서도 고정확도를 달성하는 단일 스포트 검출기를 개발한다.

제안 방법

• 고수준 레이어에 정보 사각형 및 입방형 인셉션 모듈을 도입하여 다중 척도 맥락 및 의미 특징을 추출한다.
• 인셉션 모듈에 파라미터 공유를 적용하여 계산 비용을 감소시키면서도 수신 영역 커버리지를 확장한다.
• 검출 헤드의 주요 입력으로 후기 단계의 컨볼루션 레이어에서 유도된 깊은 특징을 사용하여 초기 레이어의 세부 정보 추출을 생략한다.
• 다중 박스, 다중 척도, 다중 수준 특징 융합 기법을 통합하여 다양한 크기의 물체에 대한 국소화 및 분류 성능을 향상시킨다.
• VGG-16 기반의 경량 프레임워크를 설계하였으며, 네 개의 연속된 깊은 레이어에 인셉션 모듈을 추가하여 모델 깊이나 너비를 크게 증가시키지 않고도 특징 추상화 능력을 향상시켰다.
• 단일 스포트 검출 프레임워크를 사용하여 엔드 투 엔드로 훈련하며, 깊은 특징 맵에서 직접 바운딩 박스와 클래스 스코어를 회귀한다.

실험 결과

연구 질문

• RQ1 고수준 레이어에서 유도된 깊은 특징이 소형 및 가림된 물체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 깊은 레이어에 특징 학습을 집중시키는 것이 더 깊거나 넓은 네트워크에 비해 계산 비용을 줄이고 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 깊은 레이어에 배치된 다중 척도 인셉션 모듈이 물체와 그 주변 간의 의미론적 및 맥락적 관계를 효과적으로 포착할 수 있는가?
• RQ4 기존의 단일 스포트 및 이중 스포트 검출기들과 비교해 표준 벤치마크에서 MDFN의 속도-정확도 트레이드오프는 어떻게 되는가?
• RQ5 모델 용량을 늘리지 않고도 깊은 특징 학습을 향상시킴으로써 비교적 작은 기반 네트워크(VGG-16 등)로도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MDFN은 KITTI 데이터셋에서 모든 비교 대상 방법(예: Faster R-CNN, YOLOv3 포함)을 능가하는 최고의 평균 정밀도(mAP)를 기록하였다.
• PASCAL VOC 2007 데이터셋에서 MDFN-I2는 35 FPS에서 88.0% mAP를 달성하여 유사한 속도로도 단일 스포트 검출기 중 최고 성능을 보였다.
• COCO에서 MDFN-I2는 300×300 입력에서 58 FPS로 35.1% mAP를 기록하여 경쟁력 있는 정확도와 높은 추론 속도를 동시에 확보하였다.
• VGG-16 기반 SSD 대비 약 10% 더 많은 파라미터를 사용했음에도 불구하고, COCO 및 KITTI에서 추론 속도는 4% 미만 감소하고, FLOPs는 2% 미만 증가에 머물렀다.
• 소형 및 가림된 물체 검출에서 뛰어난 강건성을 보였으며, KITTI에서의 정성적 결과 분석에 따르면 MDFN은 SSD가 놓친 차량을 정확히 국소화하였다.
• 그림 6에서 볼 수 있듯이 정확도와 속도의 트레이드오프가 안정적이고 유리한 편이었으며, MDFN은 다른 모델들과 함께 날카로운 삼각형 형태를 형성하여 높은 효율성과 일관성을 입증하였다.