[논문 리뷰] DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers

Amir Ghodrati, Ali Diba외 3명|arXiv (Cornell University)|2015. 10. 15.

Advanced Neural Network Applications참고 문헌 24인용 수 19

한 줄 요약

DeepProposal는 CNN의 다수의 합성곱층에서 유도된 특징 맵을 활용하여 고품질의 객체 제안을 생성하는 코arse-to-fine 역순 캐스케이드 방법을 제안한다. 깊은 층의 높은 재현율과 초기 층의 정밀한 국소화 능력을 조합함으로써 최신 기술 수준의 제안 성능를 달성하며, CNN 기반 검출기와 통합 시 선택적 검색보다 훨씬 적은 제안 수로도 검출 정확도를 향상시킨다.

ABSTRACT

In this paper we evaluate the quality of the activation layers of a convolutional neural network (CNN) for the gen- eration of object proposals. We generate hypotheses in a sliding-window fashion over different activation layers and show that the final convolutional layers can find the object of interest with high recall but poor localization due to the coarseness of the feature maps. Instead, the first layers of the network can better localize the object of interest but with a reduced recall. Based on this observation we design a method for proposing object locations that is based on CNN features and that combines the best of both worlds. We build an inverse cascade that, going from the final to the initial convolutional layers of the CNN, selects the most promising object locations and refines their boxes in a coarse-to-fine manner. The method is efficient, because i) it uses the same features extracted for detection, ii) it aggregates features using integral images, and iii) it avoids a dense evaluation of the proposals due to the inverse coarse-to-fine cascade. The method is also accurate; it outperforms most of the previously proposed object proposals approaches and when plugged into a CNN-based detector produces state-of-the- art detection performance.

연구 동기 및 목표

• CNN의 초기 및 깊은 합성곱층의 상보적 강점을 활용하여 객체 제안 생성을 향상시키는 것.
• 기존 검출 작업에서 이미 계산된 특징을 재사용함으로써 추가 계산이 불필요한 효율적인 엔드 투 엔드 제안 방법을 설계하는 것.
• 단일 층의 특징 사용에 따른 한계를 극복하고, 높은 재현율과 정밀한 국소화를 동시에 달성하는 것.
• 학습 중에 볼 수 없었던 카테고리로의 일반화 능력과 후속 검출 성능에 미치는 영향을 평가하는 것.

제안 방법

• 이 방법은 최종 합성곱층(층 5)에서 시작하여 초기 층(예: 층 2)으로 향하는 코어스 투 파인 역순 캐스케이드를 사용한다. 각 단계에서 제안을 개선한다.
• 각 층에서 고정된 척도와 종횡비를 사용하여 활성화 맵 위를 슬라이딩 윈도우로 후보 윈도우를 생성한다.
• 풀링된 CNN 특징을 기반으로 선형 분류기를 사용해 객체도 점수를 예측하며, 적분 영상 기반 특징 집계를 통해 일정 시간 내 계산을 가속화한다.
• 제안은 코어스에서 파인으로 점차 필터링되고 공간적으로 정밀해지며, 최종적으로는 초기 층(예: 층 2)에서 추출한 윤곽선을 사용해 최종 보정을 수행한다.
• 검출에 사용되는 동일한 CNN 특징을 재사용함으로써 추가적인 특징 추출이 필요 없으며, 빠른 추론을 가능하게 한다.
• 이 방법은 객체 관련 제안을 우선시하도록 훈련되어, 클래스별 적응(예: 자동차)과 학습 중에 볼 수 없었던 카테고리로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 다수의 합성곱층을 효과적으로 조합하여 객체 제안 품질을 향상시킬 수 있는가?
• RQ2 CNN 특징을 사용한 코어스 투 파인 역순 캐스케이드가 기존 제안 방법보다 재현율과 국소화 정확도 측면에서 뛰어난가?
• RQ3 검출에 이미 계산된 특징을 재사용함으로써 제안 생성 과정을 효율적으로 만들 수 있는가?
• RQ4 학습 중에 볼 수 없었던 객체 카테고리로의 일반화 능력은 어느 정도인가?
• RQ5 DeepProposal를 사용할 경우 CNN 기반 객체 검출기의 성능 향상 정도는 어느 정도인가?

주요 결과

• 100개의 제안만으로도 DeepProposal는 PASCAL VOC 2007에서 평균 정밀도(mAP) 53.2를 기록하여, 동일한 제안 수에서 선택적 검색의 28.1 mAP를 크게 능가한다.
• DeepProposal는 300개의 제안으로도 거의 최적의 검출 성능를 달성하지만, 선택적 검색은 정점 성능에 도달하기 위해 2000개 이상의 제안이 필요하다.
• 자동차에 대해 미세조정한 결과, SppNet를 사용할 때 검출기의 mAP를 57.6%에서 60.4%로 향상시켜 특정 클래스에 대한 성능 향상 능력을 입증했다.
• COCO 데이터셋에서, 20개의 VOC 클래스 또는 무작위로 샘플링한 COCO 클래스로 훈련한 경우, 1000개의 제안으로도 0.5 IoU 기준으로 59~60%의 재현율을 유지하여 강력한 일반화 능력을 보였다.
• 단지 5개의 COCO 클래스로만 훈련한 경우에도 재현율이 약간 감소(56%로)하여도 잘 일반화되며, 제한된 지도 신호에 대해 강건함을 보였다.
• 역순 캐스케이드 설계 덕분에 조밀한 평가를 피함으로써 효율적인 추론이 가능했으며, 검출 특징 재사용으로 인해 최소한의 계산 오버헤드를 확보했다.