[논문 리뷰] Learning Chained Deep Features and Classifiers for Cascade in Object Detection

Wanli Ouyang, Ku Wang외 2명|arXiv (Cornell University)|2017. 02. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 20

한 줄 요약

이 논문은 객체 검출 정확도와 효율성을 햖스키기 위해 분류기와 특징을 연결하는 분류기 및 특징 체인을 통해 계류된 분류기와 특징을 동시에 학습하는 엔드 투 엔드 딥 러닝 프레임워크인 체인드 캐스케이드 네트워크(CC-Net)를 제안한다. 이전 단계의 분류 점수와 특징을 사전 지식으로 활용함으로써 CC-Net은 PASCAL VOC 2007에서 최신 기준인 81.1% mAP를 달성한다.

ABSTRACT

Cascade is a widely used approach that rejects obvious negative samples at early stages for learning better classifier and faster inference. This paper presents chained cascade network (CC-Net). In this CC-Net, the cascaded classifier at a stage is aided by the classification scores in previous stages. Feature chaining is further proposed so that the feature learning for the current cascade stage uses the features in previous stages as the prior information. The chained ConvNet features and classifiers of multiple stages are jointly learned in an end-to-end network. In this way, features and classifiers at latter stages handle more difficult samples with the help of features and classifiers in previous stages. It yields consistent boost in detection performance on benchmarks like PASCAL VOC 2007 and ImageNet. Combined with better region proposal, CC-Net leads to state-of-the-art result of 81.1% mAP on PASCAL VOC 2007.

연구 동기 및 목표

• 엔드 투 엔드 딥 네트워크를 통해 계류 학습을 개선하여 객체 검출에서 전경과 배경 샘플 간의 불균형 문제를 해결한다.
• 기존의 계류 구조가 이전 단계의 분류 점수와 특징을 기각하는 한계를 극복한다.
• 이전 단계의 사전 지식을 활용하여 계류 단계 간의 분류기 및 특징 학습을 통합 최적화한다.
• 통합된 딥 네트워크 내에서 분류기 체인과 특징 체인을 도입함으로써 검출 성능을 향상시킨다.

제안 방법

• 이전 계류 단계의 분류 점수를 현재 단계의 분류기의 사전 지식으로 사용하는 분류기 체인을 도입한다.
• 이전 단계의 특징이 이후 단계의 특징 학습을 이끌어내어 상보적인 시각적 단서에 집중하도록 하는 특징 체인을 제안한다.
• 공유 손실 함수를 사용하여 계류된 분류기와 연결된 특징을 동시에 학습하는 단일 엔드 투 엔드 ConvNet을 설계한다.
• 특징과 점수 융합을 제어하기 위해 학습 가능한 스케일링 벡터 a와 b를 활용하여 강건성과 성능을 향상시킨다.
• 다중 맥락 및 다중 해상도 특징을 입력으로 사용하며, 글로벌 풀링 특징을 기본 표현으로 삼는다.
• 학습 효율성과 재현율 향상을 위해 온라인 하드 예제 마이닝(OHEM)과 영역 제안(예: Craft+)을 적용한다.

실험 결과

연구 질문

• RQ1 이전 단계의 신뢰도 점수가 후속 단계의 결정에 영향을 주는 분류기 체인은 딥 계류 네트워크에서 검출 정확도를 향상시키는가?
• RQ2 이전 단계의 특징을 사전 지식으로 사용하는 특징 체인은 후속 단계의 특징 학습을 향상시키는가?
• RQ3 연결된 분류기와 특징을 통합한 엔드 투 엔드 학습은 기존의 계류 또는 비체인 방법보다 우월한 성능을 내는가?
• RQ4 단일 딥 네트워크 내에서 분류기 체인과 특징 체인을 조합함으로써 얻는 성능 향상은 어느 정도인가?
• RQ5 학습 가능한 스케일링 벡터와 아키텍처 설계 선택 사항은 mAP와 검출 강건성에 어떤 영향을 미치는가?

주요 결과

• CC-Net은 PASCAL VOC 2007에서 최신 기준인 81.1% mAP를 달성하여 새로운 최고 기록을 수립한다.
• 분류기 체인만 적용해도 기준 BN-Inception 대비 네 단계 계류에서 mAP가 1.5% 향상된다.
• 분류기 체인과 특징 체인을 결합한 경우 ImageNet 기준으로 비체인 기준 대비 mAP가 3.2% 향상된다.
• CC-Net에서 분류기 체인을 제거하면 mAP가 0.8% 감소하여 그 효과를 입증한다.
• 학습 가능한 스케일링 벡터 a와 b는 기여가 크며, 이를 1.0으로 고정하면 mAP가 1.7% 감소한다.
• CC-Net에서 이미지당 300개의 영역 제안(Craft+)을 사용함으로써 더 많은 제안이 필요 없이 높은 성능을 달성한다.