[논문 리뷰] Deformable Part Models are Convolutional Neural Networks

Ross Girshick, Forrest Iandola외 2명|arXiv (Cornell University)|2014. 09. 18.

Advanced Neural Network Applications참고 문헌 26인용 수 57

한 줄 요약

이 논문은 거리 변환 풀링과 학습된 특징 피라미드를 사용하여 탄성 부분 모델(DPMs)을 컨볼루션 신경망(CNN)으로 공식화하는 새로운 엔드 투 엔드 컨볼루션 신경망(CNN)인 DeepPyramid DPM을 제안한다. HOG 특징 대신 CNN 기반의 특징 피라미드를 사용하고 DPM 추론을 미분 가능한 네트워크로 표현함으로써, PASCAL VOC에서 최신 기술 수준의 성능을 달성하며, 비교 가능한 R-CNN 시스템을 약간 앞서면서도 20배 빠른 속도로 작동한다.

ABSTRACT

Deformable part models (DPMs) and convolutional neural networks (CNNs) are two widely used tools for visual recognition. They are typically viewed as distinct approaches: DPMs are graphical models (Markov random fields), while CNNs are "black-box" non-linear classifiers. In this paper, we show that a DPM can be formulated as a CNN, thus providing a novel synthesis of the two ideas. Our construction involves unrolling the DPM inference algorithm and mapping each step to an equivalent (and at times novel) CNN layer. From this perspective, it becomes natural to replace the standard image features used in DPM with a learned feature extractor. We call the resulting model DeepPyramid DPM and experimentally validate it on PASCAL VOC. DeepPyramid DPM significantly outperforms DPMs based on histograms of oriented gradients features (HOG) and slightly outperforms a comparable version of the recently introduced R-CNN detection system, while running an order of magnitude faster.

연구 동기 및 목표

• 탄성 부분 모델(DPMs)과 컨볼루션 신경망(CNNs)을 하나의 미분 가능한 프레임워크로 통합하기.
• 수작업된 특징을 학습된 특징 피라미드로 대체함으로써 HOG 기반 DPM의 한계를 극복하기.
• DPM 추론이 새로운 레이어를 갖춘 구조적 CNN으로 표현될 수 있음을 보여주어 엔드 투 엔드 학습이 가능하게 하기.
• 결과적으로 생성된 모델인 DeepPyramid DPM이 기존 방법에 비해 PASCAL VOC에서 더 높은 검출 정확도와 빠른 속도를 달성하는지 보여주기.

제안 방법

• DPM의 추론 알고리즘을 차례로 연결된 미분 가능한 레이어로 전개하여 DPM을 CNN으로 공식화하기.
• 부분의 변형과 공간적 관계를 모델링할 수 있는 최대 풀링의 일반화인 거리 변환 풀링(DT-pooling)을 도입하기.
• 이중 단계 네트워크를 구성하기: 먼저, 공유된, 잘라낸 SuperVision 아키텍처를 사용하여 이미지 스케일에서 특징 피라미드를 추출하기.
• 각 특징 맵 수준에 대해 DPM-CNN을 적용하여, 마스킹 유닛과 DT-pooling을 사용해 부분 검출기와 변형을 모델링하기.
• 특징 추출기와 DPM-CNN을 하나의 통합 CNN으로 조합하여 전체 시스템을 엔드 투 엔드로 학습하기.
• 모든 피라미드 수준에서 공유된, 연결된 가중치 아키텍처를 사용하여 파rameter 효율성과 공간 일관성을 유지하기.

실험 결과

연구 질문

• RQ1 탄성 부분 모델는 미분 가능한 컨볼루션 신경망으로 표현될 수 있는가?
• RQ2 HOG 특징을 학습된 특징 피라미드로 대체하면 DPM 성능이 향상되는가?
• RQ3 거리 변환 풀링은 최대 풀링을 일반화하여 CNN에서 부분의 변형을 모델링할 수 있는가?
• RQ4 엔드 투 엔드 DeepPyramid DPM은 PASCAL VOC에서 R-CNN과 HOG-DPM에 비해 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ5 슬라이딩 윈도우와 영역 기반 검출 방법은 결합했을 때 상호보완적인가?

주요 결과

• DeepPyramid DPM은 PASCAL VOC 2010에서 평균 평균 정확도(mAP) 42.0%를 달성하여 HOG-DPM(33.4%)를 능가하고, 경계 상자 회귀 없이도 R-CNN FT fc7의 성능을 따라잡는다.
• 두 개의 클래스—botte와 person에서 비교 가능한 R-CNN 시스템(R-CNN FT fc7 BB)을 약간 앞서는 성능을 보이며, 영역 제안 품질이나 특징 표현의 우수성을 시사한다.
• DeepPyramid DPM는 R-CNN보다 약 20배 빠르게 작동하면서도 경쟁 가능한 정확도를 달성하여, 빠르기와 정확도의 상호보완적 개선을 보여준다.
• 잘못 분류된 양성 예제 없이 음성 예제만 사용할 경우 mAP가 6.3%p 감소하여, 하드 음성 마이닝의 중요성을 강조한다.
• 제거 분석 결과 성능이 1개에서 2개 또는 3개의 혼합 구성 요소로 향상되며, 다수의 템플릿이 재현율과 일반화 능력을 향상시킴을 시사한다.
• 슬라이딩 윈도우와 영역 기반 검출기가 상호보완적임을 모델이 입증하며, 앙상블 방법을 통해 잠재적인 성능 향상을 시사한다.