[논문 리뷰] Learning Complexity-Aware Cascades for Deep Pedestrian Detection

Zhaowei Cai, Mohammad Saberian외 1명|arXiv (Cornell University)|2015. 07. 19.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 56

한 줄 요약

이 논문은 분류 정확도와 계산 복잡도 사이의 라그랑주 상호보완성을 최적화함으로써 복잡도 인지형 다중 단계 검출기( cascaded detectors)를 학습하는 부스팅 알고리즘인 CompACT를 제안한다. 고복잡도 특징(예: 딥 컨볼루션 네트워크)을 다중 단계의 후단으로 밀어내어 다양한 특징의 원활한 통합을 가능하게 하여, Caltech와 KITTI에서 고속으로 최신 기술 수준의 보행자 검출 성능을 달성한다.

ABSTRACT

The design of complexity-aware cascaded detectors, combining features of very different complexities, is considered. A new cascade design procedure is introduced, by formulating cascade learning as the Lagrangian optimization of a risk that accounts for both accuracy and complexity. A boosting algorithm, denoted as complexity aware cascade training (CompACT), is then derived to solve this optimization. CompACT cascades are shown to seek an optimal trade-off between accuracy and complexity by pushing features of higher complexity to the later cascade stages, where only a few difficult candidate patches remain to be classified. This enables the use of features of vastly different complexities in a single detector. In result, the feature pool can be expanded to features previously impractical for cascade design, such as the responses of a deep convolutional neural network (CNN). This is demonstrated through the design of a pedestrian detector with a pool of features whose complexities span orders of magnitude. The resulting cascade generalizes the combination of a CNN with an object proposal mechanism: rather than a pre-processing stage, CompACT cascades seamlessly integrate CNNs in their stages. This enables state of the art performance on the Caltech and KITTI datasets, at fairly fast speeds.

연구 동기 및 목표

• 높은 복잡도를 가지는 딥 러닝 특징을 다중 단계 검출기로 통합하는 데 도전하는 문제를 해결하기 위해.
• 기존의 다중 단계 설계가 특징의 복잡도가 균일하다는 가정을 하고 있으며 정확도-복잡도 상호보완성 최적화가 명시적으로 이루어지지 않은 점을 극복하기 위해.
• 수작업 특징과 딥 컨볼루션 네트워크를 하나의 다중 단계 아키텍처 내에서 원활하게 통합할 수 있는 통합 프레임워크를 개발하기 위해.
• CompACT가 고속 추론 속도를 유지하면서도 최신 기술 수준의 보행자 검출 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 분류 위험과 복잡도 위험을 동시에 최소화하는 라그랑주 최적화 문제로 다중 단계 학습을 공식화한다.
• 특징의 계산 비용을 정량화할 수 있는 복잡도 측정 기준을 도입하여 정확도와 속도 사이의 명시적 상호보완성 제어를 가능하게 한다.
• 라그랑주 목표 함수를 최소화하는 데 가장 기여하는 특징을 반복적으로 선택함으로써, CompACT라는 부스팅 알고리즘을 유도한다.
• 고복잡도 특징(예: 딥 컨볼루션 네트워크)을 후단의 다중 단계로 밀어내어, 분류해야 할 어려운 예측 샘플 수가 매우 적은 상황에서 처리하도록 한다.
• 하르 웨이브릿과 딥 컨볼루션 네트워크 등 극명하게 다른 복잡도를 가진 특징들을 하나의 다중 단계 내에서 통합할 수 있도록 지원한다.
• 최종 단계가 딥 컨볼루션 네트워크가 될 수 있는 하이브리드 아키텍처를 활용하며, 이는 NMS 후 분류기로 사용되거나 다중 단계 흐름 내에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 특징의 복잡도가 크게 다를 경우, 다중 단계 검출기 학습 시 정확도와 계산 복잡도를 명시적으로 균형 잡을 수 있는가?
• RQ2 개별 객체 제안 단계 없이도 딥 컨볼루션 네트워크를 다중 단계 검출기에 효과적으로 통합할 수 있는가?
• RQ3 복잡도 인지형 다중 단계 설계가 기존의 이중 단계 접근 방식(예: 제안 + CNN)보다 정확도와 속도 양면에서 뛰어나게 성능을 냈는가?
• RQ4 제안된 방법이 실시간 추론 속도를 유지하면서도 최신 기술 수준의 보행자 검출 성능을 달성할 수 있는가?

주요 결과

• CompACT는 Caltech 보행자 검출 벤치마크에서 최신 기술 수준의 성능을 달성하여, 이전 방법 대비 평균 정밀도에서 최대 11점 향상시켰다.
• VGG 기반의 딥 컨볼루션 네트워크를 최종 단계에 통합한 CompACT-Deep 다중 단계는 KITTI 'easy' 스플릿에서 70.69% mAP를 기록하여 이전 최신 기술 수준을 8점 이상 초월했다.
• 딥 컨볼루션 네트워크를 사용함에도 불구하고, CompACT-Deep 다중 단계는 KITTI에서 1초당 1장의 속도로 실행되어 R-CNN 및 FilteredICF와 같은 경쟁 기법들보다 훨씬 빠르게 작동했다.
• 작은 컨볼루션 네트워크를 사용한 CompACT 다중 단계는 KITTI 'easy' 스플릿에서 65.35% mAP를 기록하여 pAUCEnsT와 FilteredICF를 능가했으며, 훨씬 더 빠른 속도를 보였다.
• NMS 이전에 컨볼루션 네트워크를 다중 단계 흐름 내에 통합하는 것이 NMS 이후에 적용하는 것보다 더 높은 정확도를 달성했으며, 이는 약 10배의 계산량 감소를 초래했다.
• 이 방법은 객체 제안 + CNN 패러다임을 일반화하여, CNN을 다중 단계 흐름 내에 종단 간 통합함으로써 별도의 제안 단계가 필요 없도록 했다.