[논문 리뷰] MDCN: Multi-Scale, Deep Inception Convolutional Neural Networks for Efficient Object Detection

Wenchi Ma, Yuanwei Wu외 2명|arXiv (Cornell University)|2018. 09. 06.

Advanced Neural Network Applications참고 문헌 27인용 수 3

한 줄 요약

이 논문은 MDCN을 제안하며, CNN의 더 깊은 계층에 다중 척도, 고도의 인셉션 모듈을 삽입하여 소형 및 가림된 물체의 특징 추출을 향상시키는 단일 스포트 객체 검출 프레임워크이다. 더 넓은 맥락적 수신 영역을 중시하고, 저해상도 특징 맵에서 파rameter 효율적인 다중 척도 필터링을 활용함으로써, MDCN은 KITTI 데이터셋에서 최신 기술 수준(mAP)을 달성하면서도 높은 추론 속도(15.4–16 FPS)를 유지하여, SSD 및 이전 모델보다 어려운 예제를 더 잘 검출한다.

ABSTRACT

Object detection in challenging situations such as scale variation, occlusion, and truncation depends not only on feature details but also on contextual information. Most previous networks emphasize too much on detailed feature extraction through deeper and wider networks, which may enhance the accuracy of object detection to certain extent. However, the feature details are easily being changed or washed out after passing through complicated filtering structures. To better handle these challenges, the paper proposes a novel framework, multi-scale, deep inception convolutional neural network (MDCN), which focuses on wider and broader object regions by activating feature maps produced in the deep part of the network. Instead of incepting inner layers in the shallow part of the network, multi-scale inceptions are introduced in the deep layers. The proposed framework integrates the contextual information into the learning process through a single-shot network structure. It is computational efficient and avoids the hard training problem of previous macro feature extraction network designed for shallow layers. Extensive experiments demonstrate the effectiveness and superior performance of MDCN over the state-of-the-art models.

연구 동기 및 목표

• 스케일 변동, 가림, 잘린 물체와 같은 어려운 상황에서의 객체 검출 성능 향상.
• 계산 비용이나 모델 복잡도를 증가시키지 않고 맥락적 특징 학습을 향상시키기.
• 이전 최신 기술 모델에서 사용된 깊고 넓은 네트워크의 비효율성과 낮은 이식성 문제 해결.
• 실제 응용에서 검출 정확도와 추론 속도 사이의 더 나은 트레이드오프 달성.
• 단일 스포트 검출 프레임워크 내에서 다중 척도 맥락적 특징을 효과적으로 통합하기.

제안 방법

• 특징 맵의 공간 차원이 작아지는 더 깊은 계층에 다중 척도 인셉션 모듈을 도입.
• 다양한 크기의 필터를 조합하여 넓은 맥락적 수신 영역을 캡처하는 정보 정사각형 인셉션 모듈 사용.
• 다운샘플링 연산 이후에 인셉션 모듈을 배치하여 얕은 계층의 인셉션보다 계산 부담을 감소.
• 실시간 추론 효율성을 유지하기 위해 단일 스포트 검출 아키텍처( SSD에 영향을 받음)를 활용.
• 다중 척도 필터 간의 파라미터 공유를 통해 추가 파라미터를 최소화하고 모델의 컴act성을 유지.
• 백본으로 VGG-16을 사용하며, 맥락 표현을 향상시키기 위해 더 깊은 단계에 인셉션 모듈을 삽입.

Figure 1: The architecture of MDCN. The red, yellow and green boxes consist of wide-context, multi-scale deep inception structure. Each color denotes one kind of filter size. Purple boxes show classification and localization regression layers according to SSD [ 18 ] .

실험 결과

연구 질문

• RQ1 깊고 다중 척도의 인셉션 모듈이 소형 및 가림된 물체의 검출 정확도 향상에 기여하는가?
• RQ2 더 깊은 계층에 인셉션 모듈을 배치하면 계산 비용을 줄이면서도 특징 표현을 향상시킬 수 있는가?
• RQ3 깊은 인셉션 모듈을 갖춘 단일 스포트 검출기가 기존 모델보다 mAP에서 뛰어나면서도 높은 추론 속도를 유지할 수 있는가?
• RQ4 제안된 MDCN 프레임워크는 SSD 및 DSSD와 같은 최신 기술 모델과 비교해 도전적인 벤치마크에서 어떻게 성능을 내는가?
• RQ5 모델이 다양한 IoU 임계값에서 어려운 예제(예: 소형 또는 가림된 물체)의 성능을 어느 정도 향상시키는가?

주요 결과

• MDCN-I2는 KITTI 검증 세트에서 모든 다른 모델, WR-Inception-I2를 포함하여 가장 높은 mAP를 기록했다.
• 어려운 서브셋에서 MDCN-I2는 차량 클래스에 대해 SSD보다 10% 높은 mAP를 기록했고, 자전거 탑승자 클래스에 대해 WR-Inception-I2보다 20% 높은 AP를 달성했다.
• IoU 임계값이 0.5에서 0.8 사이일 경우, MDCN-I2는 모든 물체 클래스에서 가장 높은 AP를 기록했으며, 차량 클래스에 대해 IoU=0.5일 때 88.4%의 AP를 기록했다.
• MDCN-I1과 MDCN-I2는 각각 K40 GPU에서 15.8 FPS와 15.4 FPS의 속도를 기록했으며, 높은 정확도에도 불구하고 SSD의 17.0 FPS와 매우 유사했다.
• 모델는 총 2.55×10⁷개의 파라미터만 사용했으며, SSD(2.41×10⁷)와 비교해 약간 높을 뿐이었고, 이는 최소한의 파라미터 오버헤드를 의미한다.
• 시각적 비교에서 MDCN-I2는 복잡한 환경에서도 거의 모든 물체를 검출했고, 반면 SSD는 가림되거나 소형 물체 상황에서 여러 보행자와 자전거 탑승자를 놓쳤다.

Figure 2: Detection examples of SSD and MDCN-I2. In these four sets of images, the top one and the bottom one are from SSD and MDCN-I2, respectively.