[논문 리뷰] Weaving Multi-scale Context for Single Shot Detector

Yunpeng Chen, Jianshu Li외 3명|arXiv (Cornell University)|2017. 12. 08.

Advanced Neural Network Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 단일 스크린 검출기(SSD)를 위한 경량적이고 반복적인 다중 척도 컨텍스트 융합 모듈인 WeaveNet을 제안한다. WeaveNet은 계층 간 인접 척도 특징을 융합하여 특징 표현을 향상시킨다. 최소한의 계산 부담으로 효율적이고 점진적인 컨텍스트 추론을 가능하게 하여, 기준 SSD 및 StairNet과 같은 최신 기법들보다 뛰어난 정확도를 달성한다. PASCAL VOC 2007에서 101 fps로 79.5% mAP 성능을 기록했으며, 추가 비용은 단지 4 fps에 불과하다.

ABSTRACT

Aggregating context information from multiple scales has been proved to be effective for improving accuracy of Single Shot Detectors (SSDs) on object detection. However, existing multi-scale context fusion techniques are computationally expensive, which unfavorably diminishes the advantageous speed of SSD. In this work, we propose a novel network topology, called WeaveNet, that can efficiently fuse multi-scale information and boost the detection accuracy with negligible extra cost. The proposed WeaveNet iteratively weaves context information from adjacent scales together to enable more sophisticated context reasoning while maintaining fast speed. Built by stacking light-weight blocks, WeaveNet is easy to train without requiring batch normalization and can be further accelerated by our proposed architecture simplification. Experimental results on PASCAL VOC 2007, PASCAL VOC 2012 benchmarks show signification performance boost brought by WeaveNet. For 320x320 input of batch size = 8, WeaveNet reaches 79.5% mAP on PASCAL VOC 2007 test in 101 fps with only 4 fps extra cost, and further improves to 79.7% mAP with more iterations.

연구 동기 및 목표

• 실시간 추론 속도를 희생시키지 않고 단일 스크린 검출기(SSD)의 정확도-속도 트레이드오���을 해결하기 위해, 효율적인 다중 척도 컨텍스트 집합을 가능하게 하는 것.
• 이전 방법에서 사용하는 비용이 많이 드는 디컨볼루션 및 추가 컨볼루션 레이어를 피함으로써, 다중 척도 특징 융합의 계산 비용을 줄이는 것.
• 학습 가능한 배치 정규화 없이 설계된 아키텍처를 설계하여, 더 깊은 백본을 지원하고 점진적인 컨텍스트 정밀 조정을 가능하게 하는 것.
• 인접 척도 특징을 융합하는 방식으로 효과적이고 확장된 수용장역을 점진적으로 증가시켜 소형 및 어려운 객체의 검출을 향상시키는 것.
• 최신 기술 수준의 정확도를 달성하면서도 추론 지연을 최소화하여 SSD의 속도 우수성을 유지하는 것.

제안 방법

• WeaveNet은 경량적이고 스택 가능한 블록 아키텍처를 사용하여 인접 척도의 특징을 반복적으로 융합하는 새로운 네트워크 토폴로지 구조를 도입한다.
• 제어된 반복 메커니즘을 통해 고수준의 굵은 특징과 저수준의 세밀한 특징을 융합함으로써 다중 척도 추론을 수행한다.
• 각 WeaveNet 블록은 깊이 분리형 컨볼루션과 요소별 덧셈을 사용하여 계산 비용을 최소화하면서도 원활한 정보 흐름을 보장한다.
• 배치 정규화 없이도 학습이 가능하도록 설계되어, DPN-131와 같은 더 깊은 백본을 효율적으로 활용할 수 있다.
• WeaveNet은 점진적 추론을 지원한다: 반복 횟수를 늘릴수록 정확도는 향상되지만 속도 저하 정도는 미미하다.
• 중복된 연산을 줄이기 위해 추가로 가속화할 수 있는 아키텍처 단순화 기법을 제안한다.

실험 결과

연구 질문

• RQ1 다중 척도 컨텍스트 융합이 얼마나 계산적으로 효율적으로 구현될 수 있는가? 이는 SSD의 실시간 추론 속도를 유지하면서도 정확도 향상을 가능하게 하는가?
• RQ2 어떻게 인접 척도 특징을 반복적으로 융합하여 중간 구성 요소의 부담을 줄이고, 효과적이고 확장된 수용장역을 점진적으로 증가시킬 수 있는가?
• RQ3 배치 정규화 없이 설계된 아키텍처는 더 깊은 백본을 지원하고 안정적인 학습을 가능하게 하여 SSD의 특징 표현을 향상시킬 수 있는가?
• RQ4 단일 패assing 융합 기법과 비교해 볼 때, 반복적 특징 융합은 소형 및 어려운 객체의 검출 성능을 향상시키는가?
• RQ5 반복 횟수를 늘림으로써 WeaveNet의 성능을 체계적으로 향상시킬 수 있으며, 이로 인한 지연 비용은 최소한인가?

주요 결과

• WeaveNet은 320×320 입력으로 PASCAL VOC 2007 테스트 세트에서 101 fps로 79.5% mAP 성능을 기록했으며, 기준 SSD 대비 단지 4 fps의 추가 비용만 발생시켰다.
• 반복 횟수를 늘릴수록 WeaveNet은 79.7% mAP로 더욱 향상되었으며, 이는 반복 설계의 확장성을 입증한다.
• PASCAL VOC 2012에서 WeaveNet은 VGG16을 사용해 77.0% mAP 성능을 기록했으며, 기준 SSD(75.8%)보다 1.2%p 높고 StairNet(76.4%)보다 0.6%p 높았다.
• 그림 6에서 시각화한 바와 같이, WeaveNet은 소형 및 어려운 객체의 검출 성능이 뛰어나며, 더 좁고 정확한 바운딩 박스를 제공한다.
• k=32 및 iter=1 설정에서 Titan X(Pascal) GPU에서 67 fps로 79.5% mAP 성능을 달성하여, 더 많은 반복 횟수를 가진 설정들보다 더 나은 속도-정확도 트레이드오프를 확보했다.
• 배치 정규화 없이도 학습이 가능하며, 더 깊은 백본을 지원하여 메모리 오버플로우 없이도 추가 정확도 향상을 이끌 수 있다.