[논문 리뷰] Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks

Sean Bell, C. Lawrence Zitnick외 2명|arXiv (Cornell University)|2015. 12. 14.

Advanced Neural Network Applications참고 문헌 37인용 수 63

한 줄 요약

이 논문은 스위프 풀링을 통한 다중 척도 특징과 공간 4방향 RNN를 이용한 문맥 정보를 결합함으로써 검출 정확도를 향상시키는 영역 기반 객체 검출기인 Inside-Outside Net(ION)을 소개한다. 이 방법은 PASCAL VOC 2012에서 76.4%의 mAP, MS COCO에서 33.1%의 mAP를 기록하여 최신 기술 수준을 달성하였으며, 소형 및 가림된 객체에 대해 뚜렷한 성능 향상을 보였다.

ABSTRACT

It is well known that contextual and multi-scale representations are important for accurate visual recognition. In this paper we present the Inside-Outside Net (ION), an object detector that exploits information both inside and outside the region of interest. Contextual information outside the region of interest is integrated using spatial recurrent neural networks. Inside, we use skip pooling to extract information at multiple scales and levels of abstraction. Through extensive experiments we evaluate the design space and provide readers with an overview of what tricks of the trade are important. ION improves state-of-the-art on PASCAL VOC 2012 object detection from 73.9% to 76.4% mAP. On the new and more challenging MS COCO dataset, we improve state-of-art-the from 19.7% to 33.1% mAP. In the 2015 MS COCO Detection Challenge, our ION model won the Best Student Entry and finished 3rd place overall. As intuition suggests, our detection results provide strong evidence that context and multi-scale representations improve small object detection.

연구 동기 및 목표

• 영역 내외의 문맥 정보를 통합하여 객체 검출 정확도를 향상시키기 위해 영역 내외의 정보를 활용한다.
• 다양한 합성곱층에서 유도된 다중 척도 특징을 활용하여 소형 객체의 특징 표현을 향상시킨다.
• 장거리 공간적 문맥을 포착하는 데 있어 공간 순환 신경망(RNN)의 효과를 평가한다.
• RNN 깊이, 정규화, 손실 함수와 같은 설계 선택 사항을 체계적으로 분석하여 성능을 최적화한다.
• 문맥 정보와 다중 척도 특징을 조합했을 때 상호 보완적인 성능 향상이 발생하는지 확인한다.

제안 방법

• VGG16의 여러 층(conv3, conv4, conv5)에서 유도된 ROI 풀링을 통해 다중 척도 특징을 추출하고, 이를 연결하여 L2 정규화하고 1×1 합성곱을 통해 차원을 감소시킨다.
• 2층, 4방향, 게이트형 순환망(IRNN)을 사용하여 이미지 전반에 걸쳐 공간적 문맥을 전파하며, 각 셀은 네 방향의 이웃에서 정보를 집계한다.
• 하위 레벨의 합성곱 특징에서의 스위프 연결을 적용하여 고해상도 공간 정보를 유지함으로써 소형 객체 검출에 중요한 세부 정보를 보존한다.
• 상위 IRNN 레이어를 감독하기 위해 세그멘테이션 손실을 통합함으로써 특징 품질과 일반화 능력을 향상시킨다.
• 각 영역의 관심 영역(ROI)을 완전히 연결된 계층을 통해 처리하여 클래스 확률(소프트맥스)과 바운딩 박스 조정을 예측한다.
• 동적 ROI 풀링을 사용하여 한 번의 순방향 전파로 이미지당 2000개의 후보를 평가함으로써 효율적인 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 영역 관심 영역 외부의 문맥 정보를 통합할 경우 객체 검출 성능에 어떤 영향을 미치는가?
• RQ2 하위 레벨의 합성곱층에서 유도된 다중 척도 특징은 소형 객체 검출에 얼마나 기여하는가?
• RQ3 장거리 문맥을 포착하기 위한 공간 RNN의 최적 아키텍처는 무엇인가?
• RQ4 RNN 층 수, 은닉 유닛 수, 순환 전이와 같은 설계 선택 사항이 검출 정확도에 어떤 영향을 미치는가?
• RQ5 문맥 정보와 다중 척도 특징을 조합했을 때 상호 보완적인 성능 향상이 발생하는가, 아니면 독립적인 기여를 하는가?

주요 결과

• ION은 PASCAL VOC 2012에서 76.4%의 mAP를 기록하여 이전 최고 성능인 73.9%를 초월하였다.
• 더 어려운 MS COCO 데이터셋에서는 mAP를 19.7%에서 33.1%로 향상시켜 새로운 최고 기록을 수립하였다.
• 2015년 MS COCO 검출 경연에서 최우수 학부생 참가상 수상 및 총 3위를 차지하였다.
• 512개의 은닉 유닛을 가진 2층의 IRNN을 사용하고, 학습된 순환 전이를 적용할 경우 최고의 성능을 기록하였으며, 순환 전이를 제거한 경우(즉, W_hh = I)에도 거의 동일한 성능을 기록하였다.
• 문맥 특징은 특히 가려진 객체(예: 의자) 검출에 가장 유익하며, 다중 척도 특징은 소형 객체(예: 화분) 검출에 뚜렷한 향상을 이룬다.
• 문맥 정보와 다중 척도 특징을 동시에 사용할 경우 상호 보완적인 성능 향상이 발생하며, 특히 소형 및 혼잡한 객체에서 가장 뚜렷한 향상이 관찰되었다.