[논문 리뷰] DeNet: Scalable Real-time Object Detection with Directed Sparse Sampling

Lachlan Tychsen-Smith, Lars Petersson|arXiv (Cornell University)|2017. 03. 30.

Advanced Neural Network Applications참고 문헌 12인용 수 12

한 줄 요약

DeNet는 수동 앵커 설계 없이 희박한 바운딩 박스 분포를 추정하기 위해 유도적 희박 샘플링을 사용하는 확장성 있고 실시간 객체 검출 프레임워크를 소개한다. 코너 기반 영역 관심 추정기와 디컨볼루션 업샘플링, 스킵 연결을 조합함으로써 DeNet는 MSCOCO, Pascal VOC 2007, VOC 2012에서 60 Hz 및 30 Hz 평가 속도에서 최신 기술 수준의 정확도를 달성하며, SSD512의 약 25,000개 대비 약 420만 개의 후보 영역 공간으로 인해 뛰어난 국소화 성능을 보인다.

ABSTRACT

We define the object detection from imagery problem as estimating a very large but extremely sparse bounding box dependent probability distribution. Subsequently we identify a sparse distribution estimation scheme, Directed Sparse Sampling, and employ it in a single end-to-end CNN based detection model. This methodology extends and formalizes previous state-of-the-art detection models with an additional emphasis on high evaluation rates and reduced manual engineering. We introduce two novelties, a corner based region-of-interest estimator and a deconvolution based CNN model. The resulting model is scene adaptive, does not require manually defined reference bounding boxes and produces highly competitive results on MSCOCO, Pascal VOC 2007 and Pascal VOC 2012 with real-time evaluation rates. Further analysis suggests our model performs particularly well when finegrained object localization is desirable. We argue that this advantage stems from the significantly larger set of available regions-of-interest relative to other methods. Source-code is available from: https://github.com/lachlants/denet

연구 동기 및 목표

• 수동으로 설계된 앵커 박스에 의존도를 줄이는 확장성 있고 실시간 객체 검출 시스템을 개발하는 것.
• 모델 효율성을 훼손하지 않으면서도 고속 추론 속도(60 Hz 및 30 Hz)에서 검출 정확도를 향상시키는 것.
• 현대적 검출 방법들을 통일된 이론적 프레임워크인 유도적 희박 샘플링으로 정형화하여 해석 가능성과 확장성을 향상시키는 것.
• 고정된 앵커 격자 외부의 타당한 후보 바운딩 박스 집합을 확장하여 미세한 국소화 성능을 향상시키는 것.
• 비정형 또는 회전 변형이 가능한 객체에 대해 다양한 물체 크기와 종횡비에 적응 가능한 시나리오에서의 적응성을 입증하는 것.

제안 방법

• 객체 검출을 바운딩 박스에 대한 희박한 분포 추정 문제로 공식화하기 위해 유도적 희박 샘플링을 제안하는 프레임워크.
• 사전 정의된 기준 박스가 필요 없이 특징 맵에서 직접 객체 코너를 예측하는 코너 기반 영역 관심(ROI) 추정기를 도입.
• 디컨볼루션 레이어를 사용해 특징 맵을 업샘플링하고 고해상도 검출 맵을 생성함으로써 국소화 정밀도를 향상.
• 이전 인코더 레이어의 스킵 연결을 활용해 공간적 세부 정보를 유지함으로써 소형 및 중형 객체 검출 성능 향상.
• 크로스 엔트로피 손실과 회귀 손실을 사용한 코너 검출, 분류, 바운딩 박스 회귀의 공동 최적화를 통한 엔드 투 엔드 학습.
• 백프로파게이션 동안 고정된 샘플링 바운딩 박스 의존성을 유지하여 엔드 투 엔드 미분 가능성을 확보하면서도 희박 추론을 가능하게 함.

실험 결과

연구 질문

• RQ1 객체 검출을 희박한 분포 추정 문제로 공식화함으로써 효율성과 확장성 향상이 가능한가?
• RQ2 수동으로 정의된 앵커 박스를 제거하면 다양한 물체 크기와 종횡비에 대한 일반화 능력과 적응성이 향상되는가?
• RQ3 디컨볼루션 업샘플링과 스킵 연결이 실시간 검출에서 국소화 정확도를 크게 향상시킬 수 있는가?
• RQ4 고정된 앵커 격자 외부의 후보 영역 수를 늘임으로써 검출 성능과 국소화 정밀도에 어떤 영향을 미치는가?
• RQ5 단일 모델이 정밀도를 손상시키지 않고 60 Hz와 30 Hz 평가 속도 모두에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• DeNet-34는 82 Hz에서 Pascal VOC 2007에서 75.9%의 평균 정밀도(mAP)를 기록하여 SSD300보다 1.6% mAP 높고 20 Hz 더 빠르다.
• DeNet-101은 33 Hz에서 Pascal VOC 2007에서 SSD512와 동일한 76.8% mAP를 기록하며 뛰어난 속도-정확도 트레이드오프를 보였다.
• MSCOCO test-dev2015에서 DeNet-101은 34 Hz에서 44.8% mAP를 기록하여 RPN(ResNet)보다 1.9% mAP 높고 추론 속도는 15분의 1에 불과했다.
• 모델의 후보 영역 공간은 약 420만 개로, SSD512의 약 25,000개보다 크게 확장되어 실제 바운딩 박스에 더 가까운 초기 박스를 제공한다.
• 스킵 연결은 소형 및 중형 객체 검출 성능을 향상시키며, DeNet-101(swap)은 VOC 2007에서 77.1% mAP를 기록했다.
• 넓은 모델 버전은 고해상도 코너 맵이 소형 및 중형 객체 검출에 도움이 된다는 것을 보여주며, 향후 확장 가능한 길을 제시한다.