[논문 리뷰] Crafting GBD-Net for Object Detection

Xingyu Zeng, Wanli Ouyang외 10명|arXiv (Cornell University)|2016. 10. 08.

Advanced Neural Network Applications참고 문헌 47인용 수 24

한 줄 요약

이 논문은 다중 척도 지원 영역 간의 특징 메시지 전달을 통해 국소적이고 맥락적인 시각 패턴을 공동으로 검증할 수 있도록 하는 게이트형 이중 방향 CNN인 GBD-Net을 제안한다. 입력에 의존하는 증거를 기반으로 메시지 흐름을 제어하는 학습 가능한 게이트를 사용함으로써 특징 표현을 향상시켜, 모델 앙상블을 통해 ImageNet 검증 세트에서 68% mAP를 달성하며 이전 방법들을 능가한다.

ABSTRACT

The visual cues from multiple support regions of different sizes and resolutions are complementary in classifying a candidate box in object detection. Effective integration of local and contextual visual cues from these regions has become a fundamental problem in object detection. In this paper, we propose a gated bi-directional CNN (GBD-Net) to pass messages among features from different support regions during both feature learning and feature extraction. Such message passing can be implemented through convolution between neighboring support regions in two directions and can be conducted in various layers. Therefore, local and contextual visual patterns can validate the existence of each other by learning their nonlinear relationships and their close interactions are modeled in a more complex way. It is also shown that message passing is not always helpful but dependent on individual samples. Gated functions are therefore needed to control message transmission, whose on-or-offs are controlled by extra visual evidence from the input sample. The effectiveness of GBD-Net is shown through experiments on three object detection datasets, ImageNet, Pascal VOC2007 and Microsoft COCO. This paper also shows the details of our approach in wining the ImageNet object detection challenge of 2016, with source code provided on \url{https://github.com/craftGBD/craftGBD}.

연구 동기 및 목표

• 다중 척도 지원 영역에서의 보완적 시각 신호를 활용하여 국소적 신호 부족과 모호한 가림 현상 문제를 해결함으로써 객체 검출의 과제를 해결한다.
• 딥 컨볼루션 네트워크에서 이중 방향 메시지 전달을 통해 국소적 특징과 맥락적 특징의 상호 검증을 모델링한다.
• 입력에 의존하는 시각적 증거를 기반으로 메시지 전달을 동적으로 제어하는 학습 가능한 게이팅 메커니즘을 도입한다.
• ImageNet, Pascal VOC2007, COCO와 같은 대규모 벤치마크에서 검출 정확도를 향상시킨다.
• 다양한 네트워크 아키텍처와 레이어에 적용 가능한 일반화된 모듈을 제공함으로써 향상된 특징 학습을 실현한다.

제안 방법

• GBD-Net은 서로 다른 크기의 지원 영역에서 유래한 특징 간의 이중 방향 컨볼루션 메시지 전달을 통해 이중 방향 특징 상호작용을 가능하게 한다.
• 메시지 전달은 네트워크의 여러 깊이에서 인접한 지원 영역 간의 크로스 레이어 컨볼루션을 통해 구현된다.
• 메시지 전달 여부는 입력 샘플의 시각적 증거에 기반하여 결정되는 학습 가능한 게이트 메커니즘이 제어한다.
• 게이트 함수는 국소적 영역과 맥락적 영역의 특징을 모두 처리하는 작은 컨볼루션 브랜치를 사용하여 계산된다.
• 이 아키텍처는 모듈식이며, 어떤 컨볼루션 레이어 뒤에나 삽입 가능하므로 다양한 백본 네트워크와 호환된다.
• 이 방법은 표준 검출 손실을 사용해 엔드 투 엔드로 훈련되며, 추론 시 다중 척도 테스트와 플립 증강을 포함한 테스트 시 증강 기법을 사용한다.

실험 결과

연구 질문

• RQ1 다중 척도 특징 간의 이중 방향 메시지 전달이 국소적 특징과 맥락적 특징이 상호 검증할 수 있도록 하여 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 학습 가능한 게이트 메커니즘이 복잡한 환경에서 메시지 전달과 검출 정확도에 어떤 영향을 미치는가?
• RQ3 GBD-Net은 대규모 검출에서 배경 혼동 또는 객체 혼동으로 인한 가짜 양성 결과를 어느 정도 감소시키는가?
• RQ4 메시지 전달의 효과가 다양한 객체 유형이나 이미지 인스턴스 간에 다를 수 있는가?
• RQ5 GBD-Net은 아키텍처 재설계 없이 다양한 백본 네트워크와 검출 프레임워크에 일반화 가능한가?

주요 결과

• GBD-Net을 적용함으로써 기준 ResNet-269의 mAP 56.6%에서 58.8%로 향상되어 이중 방향 특징 상호작용의 유용성을 입증한다.
• Craft-V2에서 Craft-V3 영역 제안으로 전환하면 mAP가 60.7%로 상승하여 더 나은 영역 제안 품질의 영향을 보여준다.
• 다중 척도 테스트는 mAP를 1.3%p 향상시키며, 좌우 플립 증강은 0.7%p 기여한다.
• 바운딩 박스 투표와 NMS 임계치 조정(0.3에서 0.4로)은 각각 1.3%p와 0.4%p의 mAP 향상을 기록한다.
• 여러 가지가 다른 6개의 모델 앙상블은 ImageNet의 val2 스플릿에서 최종적으로 68% mAP를 달성하여 2016년 ImageNet 검출 경쟁에서 우승을 차지했다.
• 가짜 양성 결과 분석 결과 배경 혼동이 주요 오류 원인임을 확인하여, 맥락 모델링 향상이 이러한 오류를 줄이는 데 기여함을 시사한다.