[논문 리뷰] Zoom Out-and-In Network with Recursive Training for Object Proposal

Hongyang Li, Yu Liu외 2명|arXiv (Cornell University)|2017. 02. 19.

Advanced Neural Network Applications참고 문헌 37인용 수 25

한 줄 요약

이 논문은 Zoom Out-and-In 네트워크와 재귀 학습(Zoom-In Network with Recursive Training, ZIP)을 제안하며, 고수준의 의미적 특징과 고해상도의 디컨볼루션 특징을 재귀적 회귀 학습을 통해 융합함으로써 소형 객체 검출을 향상시키는 새로운 객체 제안 방법이다. 이는 ILSVRC DET 및 MS COCO 데이터셋에서 최신 기준 평균 재현율을 달성하고, 검출 mAP를 약 2% 향상시킨다.

ABSTRACT

In this paper, we propose a zoom-out-and-in network for generating object proposals. We utilize different resolutions of feature maps in the network to detect object instances of various sizes. Specifically, we divide the anchor candidates into three clusters based on the scale size and place them on feature maps of distinct strides to detect small, medium and large objects, respectively. Deeper feature maps contain region-level semantics which can help shallow counterparts to identify small objects. Therefore we design a zoom-in sub-network to increase the resolution of high level features via a deconvolution operation. The high-level features with high resolution are then combined and merged with low-level features to detect objects. Furthermore, we devise a recursive training pipeline to consecutively regress region proposals at the training stage in order to match the iterative regression at the testing stage. We demonstrate the effectiveness of the proposed method on ILSVRC DET and MS COCO datasets, where our algorithm performs better than the state-of-the-arts in various evaluation metrics. It also increases average precision by around 2% in the detection system.

연구 동기 및 목표

• 극적인 다운샘플링으로 인한 특징 해상도 저하로 인해 소형 객체 검출이 어려운 문제를 해결하기 위해.
• 소형 및 중형 객체의 정밀한 국소화를 향상시키기 위해 고수준의 의미적 특징과 고해상도 특징을 융합하기 위해.
• 학습과 추론 간 도메인 갭을 줄이기 위해 추론 시 사용하는 반복적 회귀 과정을 학습 시에도 동일하게 적용하기 위해.
• 객체 검출 파이프라인에서 다양한 객체 크기에서 더 높은 평균 재현율과 더 나은 일반화 성능을 달성하기 위해.

제안 방법

• 네트워크는 줌아웃-줌인 아키텍처를 사용한다: 깊은 특징이 디컨볼루션되어 해상도를 높이고 얕은 특징과 병합되어 소형 객체를 탐지한다.
• 아이작스(anchors)는 크기 기반으로 군집화되고, 서로 다른 스트라이드(16, 32, 64)를 가진 특징 맵에 배치되어 객체 크기에 맞추어 다중 해상도 검출을 가능하게 한다.
• 디컨볼루션 기반의 줌인 서브넷은 고수준 특징을 업샘플링하여 공간 해상도를 복원하면서 의미 정보를 유지한다.
• 재귀 학습 전략은 학습 중에 다중 회귀 반복을 수행하여 추론 시 사용하는 반복적 정밀 조정을 모방한다.
• RoI 풀링을 사용하는 잔차 블록 기반의 회귀 헤드를 활용해 반복적인 바운딩 박스 정밀 조정을 수행하며, 일반화 성능 향상을 위해 추가로 'grayscale class'를 도입한다.
• 학습 파이프라인은 이전 반복에서 생성된 중간 회귀 타겟을 사용하여 추론 시의 반복 과정과 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 디컨볼루션 기반 특징 업샘플링은 객체 제안 네트워크에서 소형 객체 검출을 향상시킬 수 있는가?
• RQ2 고수준 의미적 특징과 고해상도 특징을 융합하면 저수준 특징만 사용할 경우보다 더 나은 제안 품질을 달성할 수 있는가?
• RQ3 추론 시 사용하는 반복적 추론을 모방하는 재귀 학습 전략은 객체 제안 생성에서 평균 재현율 향상에 기여하는가?
• RQ4 재귀적 회귀 반복 횟수는 제안 품질과 추론 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 사전 처리 단계로 사용될 경우 검출 mAP 향상 정도는 어느 정도인가?

주요 결과

• ZIP 방법은 ILSVRC DET 데이터셋에서 95.04%의 평균 재현율을 달성하여 이전 최신 기준 방법들을 초월한다.
• MS COCO에서 ZIP은 59.45%의 평균 재현율을 기록하여 다양한 객체 크기에서 뛰어난 성능을 보였다.
• T=2 반복으로 재귀적 회귀를 적용하면 평균 재현율이 50.14%에서 59.45%로 상승하여 뚜렷한 향상이 확인되었다.
• R-FCN 기반 검출 시스템에 통합했을 때 평균 정밀도(mAP)가 약 2% 향상되었다.
• 제거 분석 결과, 다중 해상도 특징을 연결하면 성능 저하가 발생하지만, 해상도에 맞는 특징을 사용할 경우 정확도 향상이 이루어졌다.
• 최적 설정은 잔차 블록 기반의 회귀 헤드에 추가로 'grayscale class'를 도입하고, T=2의 재귀 반복 횟수를 사용하는 것이다.