[논문 리뷰] Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection

Hongyang Li, Yu Liu외 2명|arXiv (Cornell University)|2017. 09. 13.

Advanced Neural Network Applications참고 문헌 48인용 수 6

한 줄 요약

이 논문은 소형 객체 검출을 향상시키기 위해 탈컨volution을 통한 업샘플링을 통해 저수준 세부 정보와 고수준 의미 정보를 모두 활용하는 Zoom-Out-and-In 네트워크와 맵 주의결정(MAP)을 도입한 ZIP-MAD를 제안한다. 맵 주의결정(MAD) 유닛은 학습 중에 가장 기여도가 높은 특징맵을 적응적으로 선택하고 강조하여, PASCAL VOC 2007, ImageNet DET, MS COCO 벤치마크에서 영역 제안의 재현율과 검출 mAP을 향상시킨다.

ABSTRACT

In this paper, we propose a zoom-out-and-in network for generating object proposals. A key observation is that it is difficult to classify anchors of different sizes with the same set of features. Anchors of different sizes should be placed accordingly based on different depth within a network: smaller boxes on high-resolution layers with a smaller stride while larger boxes on low-resolution counterparts with a larger stride. Inspired by the conv/deconv structure, we fully leverage the low-level local details and high-level regional semantics from two feature map streams, which are complimentary to each other, to identify the objectness in an image. A map attention decision (MAD) unit is further proposed to aggressively search for neuron activations among two streams and attend the most contributive ones on the feature learning of the final loss. The unit serves as a decisionmaker to adaptively activate maps along certain channels with the solely purpose of optimizing the overall training loss. One advantage of MAD is that the learned weights enforced on each feature channel is predicted on-the-fly based on the input context, which is more suitable than the fixed enforcement of a convolutional kernel. Experimental results on three datasets, including PASCAL VOC 2007, ImageNet DET, MS COCO, demonstrate the effectiveness of our proposed algorithm over other state-of-the-arts, in terms of average recall (AR) for region proposal and average precision (AP) for object detection.

연구 동기 및 목표

• 큰 특징맵 스트라이드로 인해 영역 제안망에서 소형 객체를 검출하는 데 도전하는 문제를 해결한다.
• 다양한 크기의 앵커를 위한 단일 특징맵 사용의 한계를 극복하기 위해 다중 스케일 특징 스트림을 활용한다.
• 탈컨volution을 통해 고수준 의미 특징과 저수준 공간 세부 정보를 융합하여 소형 객체의 특징 표현을 향상시킨다.
• 학습 손실을 최적화하기 위해 정보성 특징맵을 적응적으로 선택하는 동적 주의 메커니즘을 개발한다.
• 다양한 벤치마크에서 영역 제안 생성과 객체 검출 양면에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 저해상도 특징은 큰 객체, 고해상도 특징은 작은 객체를 위해 처리하는 다중 스케일 특징을 처리하는 줌아웃-아웃 네트워크를 제안한다.
• 고수준 특징을 업샘플링하여 저수준 특징의 해상도와 일치시켜 정밀한 국소화를 가능하게 한다.
• 양쪽 스트림에서 가장 정보성 있는 특징맵을 동적으로 주시하는 선택적 벡터 μ를 학습하는 맵 주의결정(MAD) 유닛을 도입한다.
• MAD 유닛은 채널별로 주의 가중치를 계산하여 맥락 기반 특징 선택을 가능하게 하여 최종 손실 최적화를 향상시킨다.
• 영역 제안 분류와 바운딩 박스 회귀를 조합한 다중 작업 손실을 사용하여 네트워크를 학습하고, MAD가 특징 학습을 이끈다.
• ZIP-MAD 프레임워크를 두 단계 검출기(R-FCN 등)와 한 단계 검출기(SSD 등)에 통합하여 일반화 능력과 성능 향상을 평가한다.

Figure 1: (a) Input image where blue and green objects are being examined. (b) A larger stride in higher layers miss the green box between two adjacent anchors. (c) This motivates us to place small-scale anchors in the preceding layers with a smaller stride.

실험 결과

연구 질문

• RQ1 저수준 세부 정보와 고수준 의미 정보를 융합한 이중 스트림 특징 융합 전략이 소형 객체의 영역 제안 품질을 향상시킬 수 있는가?
• RQ2 학습 가능한 주의 메커니즘을 통한 특징맵의 동적 선택이 영역 제안망 손실 최적화에 더 나은 성능을 이끌 수 있는가?
• RQ3 제안된 줌아웃-아웃 아키텍처가 다양한 데이터셋에서 평균 재현율(AR)과 평균 정밀도(AP) 측면에서 기존 RPN보다 뛰어난 성능을 낼 수 있는가?
• RQ4 MAP 주의 메커니즘이 고정 컨볼루션 커널에 비해 특징 표현과 학습 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 ZIP-MAD 프레임워크는 두 단계 및 한 단계 객체 검출 파ip라인 전반에 걸쳐 얼마나 잘 일반화되는가?

주요 결과

• PASCAL VOC 2007에서 ZIP-MAD는 R-FCN 검출기로 79.8% mAP를 기록하여 기준 모델인 SSD(76.8%)와 이전 최신 기술 수준의 방법들을 능가했다.
• MS COCO에서 ZIP-MAD는 1000개의 제안에서 평균 재현율(AR) 88.3%를 달성하여 선택적 검색(75.6%)과 엣지 박스(75.5%)를 크게 앞서며 성능을 뛰어나게 했다.
• ImageNet DET에서 ZIP-MAD는 85.4% mAP를 기록하여 대규모 검출 벤치마크에서 강력한 일반화 능력을 보였다.
• MAP 주의 유닛은 기준 ZIP 모델보다 2.7% mAP 향상을 기록하여 특징 선택의 효과성을 입증했다.
• SSD를 사용한 한 단계 검출에서 ZIP-MAD 프레임워크는 mAP를 76.8%에서 78.1%로 향상시켜 엔드 투 엔드 학습 환경에서도 뛰어난 성능을 보였다.
• 제거 실험을 통해 탈컨볼루션 업샘플링과 MAD 유닛의 조합이 가장 높은 성능을 낼 뿐 아니라, MAD 유닛 자체만으로도 mAP가 1.3% 향상됨을 확인했다.

Figure 2: Different network design for region proposals. (a) RPN (Ren et al.,, 2015 ) ; (b) RPN with split anchors; (c) Deeper RPN with split anchors; (d) Zoom out-and-in network adopted in this paper.