[논문 리뷰] Multi-stage Object Detection with Group Recursive Learning

Jianan Li, Xiaodan Liang외 4명|arXiv (Cornell University)|2016. 08. 18.

Advanced Neural Network Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 국소화 정확도를 향상시키기 위해 약한 지도 학습 기반의 의미적 세분화와 그룹 순환 학습을 통합한 다단계 객체 검출 프레임워크를 제안한다. 세분화, 제안 생성, 반복적 정밀 조정을 위한 네트워크를 연결함으로써, 각 제안은 이웃 제안들로부터 공간적 및 의미적 맥락을 활용하여 정밀 조정된다. 이로 인해 연속적인 맥락 모델링을 통해 국소화 오차를 줄여 PASCAL VOC2007에서 78.6%의 최고 수준 mAP, VOC2012에서 74.9%의 mAP를 달성한다.

ABSTRACT

Most of existing detection pipelines treat object proposals independently and predict bounding box locations and classification scores over them separately. However, the important semantic and spatial layout correlations among proposals are often ignored, which are actually useful for more accurate object detection. In this work, we propose a new EM-like group recursive learning approach to iteratively refine object proposals by incorporating such context of surrounding proposals and provide an optimal spatial configuration of object detections. In addition, we propose to incorporate the weakly-supervised object segmentation cues and region-based object detection into a multi-stage architecture in order to fully exploit the learned segmentation features for better object detection in an end-to-end way. The proposed architecture consists of three cascaded networks which respectively learn to perform weakly-supervised object segmentation, object proposal generation and recursive detection refinement. Combining the group recursive learning and the multi-stage architecture provides competitive mAPs of 78.6% and 74.9% on the PASCAL VOC2007 and VOC2012 datasets respectively, which outperforms many well-established baselines [10] [20] significantly.

연구 동기 및 목표

• 기존 R-CNN 기반 방법들이 서로 다른 제안 간의 공간적 및 의미적 상관관계를 忽시하는 한계를 해결하기 위해.
• 의미적 세분화 특징을 약한 지도 학습 기반으로 활용하여 제안 생성 및 국소화 정확도를 향상시키기 위해.
• 이웃 제안들의 맥락적 신호를 사용하여 반복적으로 바운딩 박스 예측을 정밀 조정하는 순환적 정밀 조정 메커니즘을 개발하기 위해.
• 세분화, 제안 생성, 검출 정밀 조정을 통합한 종단 간(end-to-end) 훈련이 가능한 다단계 아키텍처를 설계하기 위해.
• 그룹 순환 학습을 통한 공동 학습이 나쁜 국소화로 인한 오분류를 크게 줄임을 입증하기 위해.

제안 방법

• 프레임워크는 세 개의 연결된 네트워크로 구성된다: 약한 지도 학습 기반 의미적 세분화 네트워크, CNN 및 세분화 특징을 모두 사용하는 제안 생성 네트워크, 순환 검출 정밀 조정 네트워크.
• 그룹 순환 학습은 EM 유사 방식으로 적용된다: E단계에서는 동일한 객체의 겹치는 이웃 제안들의 특징과 위치를 사용해 각 제안을 정밀 조정하고, M단계에서는 제안이 진짜 바운딩 박스에 가까운 확률을 최대화한다.
• 정밀 조정 과정은 두 단계(T=2)에 걸쳐 반복적으로 적용되며, 훈련 및 추론 모두에서 순환 정밀 조정을 사용하여 모델의 일반화 능력을 향상시킨다.
• 바운딩 박스 회귀와 분류 점수를 맥락 정보를 활용해 순환적으로 공동 최적화하여 국소화 정밀도를 향상시킨다.
• 모델은 종단 간 훈련이 가능하여 세분화 특징이 동시에 제안 생성과 검출 정밀 조정을 이끄는 데 기여한다.
• 그룹은 동일한 객체의 겹치는 제안들의 집합으로 정의되며, 그룹 내 모든 제안에 대해 동시에 정밀 조정을 수행하여 공간 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반 의미적 세분화 특징을 통합하면 객체 검출의 국소화 정확도가 향상되는가?
• RQ2 이웃 객체 제안 간의 공간적 및 의미적 상관관계를 모델링하면 검출 성능이 향상되는가?
• RQ3 주변 제안들을 활용한 반복적, 그룹 기반 정밀 조정이 단일 단계 독립 예측보다 우수한 성능을 내는가?
• RQ4 최적 성능을 위해 훈련 및 추론 모두에서 순환 정밀 조정이 필수적인가?
• RQ5 어려운 객체 카테고리에서 나쁜 국소화로 인한 오분류를 줄이는 데 제안된 방법이 얼마나 효과적인가?

주요 결과

• 제안된 방법은 PASCAL VOC2007 데이터셋에서 평균 평균 정밀도(mAP) 78.6%를 달성하여 기존 기준 성능을 초월한다.
• PASCAL VOC2012 데이터셋에서는 mAP 74.9%를 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 입증한다.
• 두 번의 반복적 그룹 순환 학습(Iter_2)을 적용하면 단일 반복 기준 대비 1.0% 향상되어 반복적 정밀 조정의 유용성을 확인한다.
• 추론 단계에서만 순환 정밀 조정을 적용하는 변형(Iter_2_testing)은 0.8% 성능 저하를 보이며, 최적 결과를 얻기 위해 훈련 및 추론 모두에서의 정밀 조정이 필수적임을 확인한다.
• 특히 보트, botte, 의자, 화분 등의 어려운 카테고리에서 나쁜 국소화로 인한 오분류를 크게 줄였으며, 오류 분석을 통해 이를 확인할 수 있다.
• 정성적 결과는 반복적 정밀 조정 과정이 초기 제안을 진짜 바운딩 박스에 점차적으로 맞추는 것을 보여주며, 맥락 인식 기반 정밀 조정의 효과성을 확인한다.