[논문 리뷰] segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection

Yukun Zhu, Raquel Urtasun외 2명|arXiv (Cornell University)|2015. 02. 15.

Advanced Neural Network Applications참고 문헌 21인용 수 52

한 줄 요약

이 논문은 객체 검출 정확도를 향상시키기 위해 심층 신경망을 통해 개체 분할 제안과 맥락적 특징을 통합하는 MRF 기반의 객체 검출 프레임워크인 segDeepM을 제안한다. 검출 가설이 고품질의 분할 제안에서 동적으로 선택하고 점수를 매기며, 경계 상자들을 반복적으로 개선함으로써, PASCAL VOC 2010에서 R-CNN 대비 4.1%의 mAP 향상을 달성하고 최신 기술 대비 1.4% 향상을 기록하여, 심층 검출 모델에서 분할과 맥락의 구조적 융합의 가치를 입증한다.

ABSTRACT

In this paper, we propose an approach that exploits object segmentation in order to improve the accuracy of object detection. We frame the problem as inference in a Markov Random Field, in which each detection hypothesis scores object appearance as well as contextual information using Convolutional Neural Networks, and allows the hypothesis to choose and score a segment out of a large pool of accurate object segmentation proposals. This enables the detector to incorporate additional evidence when it is available and thus results in more accurate detections. Our experiments show an improvement of 4.1% in mAP over the R-CNN baseline on PASCAL VOC 2010, and 3.4% over the current state-of-the-art, demonstrating the power of our approach.

연구 동기 및 목표

• 정확한 객체 분할 제안과 맥락적 단서를 활용하여 객체 검출 정확도를 향상시키기 위해.
• 초기 후보 경계 상자에 대한 의존도를 줄이기 위해 반복적 개선을 통해 경계 상자 국소화를 가능하게 하기 위해.
• 더 깊거나 더 큰 네트워크가 필요 없이 계산 효율적인 모델을 설계하기 위해.
• 분할과 맥락이 구조적 확률적 프레임워크에서 효과적으로 융합될 수 있는지 조사하기 위해.
• 누락된 애너테이션의 영향이 현대의 심층 검출 모델의 성능과 내성에 미치는 영향을 평가하기 위해.

제안 방법

• 각 검출 가설이 CNN를 통해 외관 및 맥락적 특징을 점수 매기는 마르코프 랜덤 필드(MRF)에서의 추론으로 객체 검출을 공식화한다.
• 각 검출 가설에 대해 최상위 150개의 고품질 객체 분할 제안(기본 CPMC에서 유래)을 후보 영역으로 통합한다.
• 분할-검출 일致성 점수를 위해 분할 제안에 대해 2차 풀링(O2P)을 적용한 클래스별 분류기를 훈련시킨다.
• 검출 점수 재계산 및 경계 상자 재위치 조정을 번갈아가며 반복적으로 수행하는 국소화 전략을 적용하여 공간 정렬을 향상시킨다.
• PASCAL VOC에서 미세조정된 7층 또는 16층의 CNN에서 특징 맵을 최종 합성곱층에서 추출한다.
• 최종 검출 결과를 정제하기 위해 비최대 억제(NMS) 및 신뢰도 임계값 설정과 같은 후처리 단계를 적용한다.

실험 결과

연구 질문

• RQ1 고품질의 분할 제안을 검출 파이프라인에 통합하면 모델의 깊이를 늘리지 않아도 mAP에 상당한 향상이 이루어지는가?
• RQ2 맥락 정보 및 분할 특징의 통합이 검출의 내성과 국소화 정확도에 어떤 영향을 미치는가?
• RQ3 반복적 경계 상자 개선이 초깃값 후보 제안에 대한 의존도를 얼마나 줄이고 검출 성능을 향상시키는가?
• RQ4 누락되거나 모호한 진짜 레이블 애너테이션이 현대의 심층 검출 모델에서 잘못된 양성 결과 비율에 어떤 영향을 미치는가?
• RQ5 가벼운 구조적 MRF 기반의 분할 및 검출 융합 방식이 더 적은 파rameter로 최신 기술 모델을 능가할 수 있는가?

주요 결과

• 7층 네트워크를 사용하여 PASCAL VOC 2010 테스트 세트에서 R-CNN 기준선 대비 4.1%의 절대적인 mAP 향상을 달성한다.
• 16층 네트워크를 사용할 경우, R-CNN 대비 4.3%의 mAP 향상을 기록하고, 동일한 벤치마크에서 현재 최고 기술보다 1.4% 높은 성능을 기록한다.
• 반복적 경계 상자 예측 단계는 R-CNN 대비 1.4%의 mAP 향상을 기여하며, 두 번의 반복 이후 성능이 포화 상태에 도달한다.
• 소량의 추가 파rameter로만으로도 높은 성능를 유지하며, 계산 오버헤드가 최소한이어서 높은 성능 향상을 달성한다.
• 반복적 국소화와 full segDeepM을 결합했을 때 1.4%의 mAP 향상이 관찰되어, 두 구성 요소 간 상호보완적 이점이 있음을 시사한다.
• 분석 결과, 잘못된 양성 결과의 상당수는 누락되거나 모호한 진짜 레이블 애너테이션에서 기인하며, 이는 고성능 모델에서 애너테이션 품질이 점점 더 큰 제약 요소가 됨을 시사한다.