[논문 리뷰] Enhanced Object Detection via Fusion With Prior Beliefs from Image Classification

Yilun Cao, Hyungtae Lee외 1명|arXiv (Cornell University)|2016. 10. 21.

Advanced Neural Network Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 이미지 분류에서 유도된 사전 지식을 통합하여 오분류를 줄이고 객체 검출 정확도를 햖을 신규 융합 프레임워크를 제안한다. 동적 신뢰도 융합(DBF)을 사용해 검출 결과와 분류 신뢰도 점수를 융합함으로써, 동일한 이미지 내 모든 바운딩 박스에 동일하게 할당된 분류 신뢰도 점수를 활용하여 PASCAL VOC 2007 및 2012에서 다양한 검출기에서 평균 평균 정밀도(mAP)를 향상시킨다. HOG-SVM의 경우 최대 +7.5% 향상된 바 있다.

ABSTRACT

In this paper, we introduce a novel fusion method that can enhance object detection performance by fusing decisions from two different types of computer vision tasks: object detection and image classification. In the proposed work, the class label of an image obtained from image classification is viewed as prior knowledge about existence or non-existence of certain objects. The prior knowledge is then fused with the decisions of object detection to improve detection accuracy by mitigating false positives of an object detector that are strongly contradicted with the prior knowledge. A recently introduced novel fusion approach called dynamic belief fusion (DBF) is used to fuse the detector output with the classification prior. Experimental results show that the detection performance of all the detection algorithms used in the proposed work is improved on benchmark datasets via the proposed fusion framework.

연구 동기 및 목표

• 특히 높은 오류율을 보이는 검출기에서 지속적으로 발생하는 오분류 문제를 해결한다.
• 이미지 분류 결과를 통해 이미지 내 객체 존재 여부 또는 부재 여부에 대한 사전 지식을 확보한다.
• 강력한 융합 전략을 사용해 객체 검출기 출력과 분류 신뢰도 점수를 융합하여 검출 정밀도를 향상시킨다.
• 분류에서 유도된 사전 지식이 바운딩 박스 애너테이션 없이도 오분류를 효과적으로 억제할 수 있음을 입증한다.
• 다양한 검출기(HOG-SVM, DPM, Faster R-CNN)와 벤치마크 데이터셋(PASCAL VOC 2007/2012)을 통해 프레임워크의 유효성을 검증한다.

제안 방법

• ImageNet에서 훈련한 약한 지도 학습 컨볼루션 신경망(WCNN)을 PASCAL VOC에서 미세조정하여 이미지 분류 작업을 수행한다.
• 동일한 데이터셋에서 훈련된 세 가지 객체 검출기(HOG-SVM, DPM, Faster R-CNN)를 사용해 검출 작업을 수행한다.
• WCNN에서 도출된 이미지 수준의 분류 점수를 동일한 이미지 내 모든 검출된 바운딩 박스에 동일하게 할당하여 사전 신뢰도로 활용한다.
• 검증 데이터에서 정밀도-재현율 관계를 모델링하기 위해 동적 신뢰도 융합(DBF)을 적용하여 검출 결과와 분류 사전 지식을 융합한다.
• DBF를 사용해 각 검출 클러스터의 융합 점수를 계산하며, 검출 신뢰도와 분류 사전 지식 양쪽 모두와 일치하는 가설을 우선시한다.
• 검증 세트를 사용해 사전 지식 성능 모델을 최적화하고, 테스트 세트에서 최종 융합 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 분류에서 유도된 사전 지식이 객체 검출에서 오분류를 효과적으로 줄일 수 있는가?
• RQ2 검출 출력과 분류 신뢰도를 융합할 경우, 다양한 검출기에서 평균 평균 정밀도(mAP)에 어떤 영향을 미치는가?
• RQ3 오분류율이 높은 검출기일수록 융합 프레임워크가 더 큰 향상을 가져오는가?
• RQ4 바운딩 박스 애너테이션 없이 훈련된 약한 지도 학습 분류기(WCNN)도 여전히 검출에 유용한 사전 지식을 제공할 수 있는가?
• RQ5 다른 데이터셋 파artition(예: train/val/test 대비 trainval/trainval/test) 간 성능 향상이 일관된가?

주요 결과

• DBF를 통해 객체 검출 출력과 이미지 분류 사전 지식을 융합함으로써, PASCAL VOC 2007 및 2012에서 테스트된 모든 검출기에서 mAP가 유의미하게 향상된다.
• 가장 큰 성능 향상은 HOG-SVM에서 관찰되었으며, trainval 파artition를 사용할 경우 mAP가 +7.5% 상승하여 고오분류율 검출기에서의 방법의 효과를 입증한다.
• DPM는 WCNN와 융합했을 때 VOC 2012에서 mAP가 +6.1% 향상되어 오분류 억제 효과가 뚜렷하다.
• 이미 높은 성능을 보이는 Faster R-CNN도 융합 프레임워크를 적용했을 때 VOC 2012에서 mAP가 +1.7% 향상되었다.
• 향상 요인의 주요 원인은 분류 사전 지식와 강하게 모순되는 오분류의 감소였으며, 이는 본 방법의 核심 메커니즘이 맞는 것으로 확인되었다.
• trainval 파artition에서 사전 지식 모델의 과적합이 발생하더라도 성능 저하가 유의미하게 관찰되지 않아 융합 프레임워크의 강건성을 확인할 수 있었다.