[논문 리뷰] Yes-Net: An effective Detector Based on Global Information

Liangzhuang Ma, Xin Kan외 3명|arXiv (Cornell University)|2017. 06. 28.

Advanced Neural Network Applications참고 문헌 3인용 수 4

한 줄 요약

Yes-Net는 CNN 기반 백본 내부에 RNN 기반 모듈을 통합하여 전역적 맥락을 통합함으로써 특징 표현을 향상시키는 실시간 객체 검출 프레임워크를 제안한다. 독립적인 앵커 박스 생성을 위해 전체 차원의 k-means를 사용하고, NMS를 RNN 기반 필터링 메커니즘으로 대체하여 416×416 입력으로 VOC2007에서 79.2% mAP, 39 FPS 성능을 달성한다.

ABSTRACT

This paper introduces a new real-time object detection approach named Yes-Net. It realizes the prediction of bounding boxes and class via single neural network like YOLOv2 and SSD, but owns more efficient and outstanding features. It combines local information with global information by adding the RNN architecture as a packed unit in CNN model to form the basic feature extractor. Independent anchor boxes coming from full-dimension k-means is also applied in Yes-Net, it brings better average IOU than grid anchor box. In addition, instead of NMS, Yes-Net uses RNN as a filter to get the final boxes, which is more efficient. For 416 x 416 input, Yes-Net achieves 79.2% mAP on VOC2007 test at 39 FPS on an Nvidia Titan X Pascal.

연구 동기 및 목표

• 로컬 및 전역 특징 표현을 효과적으로 활용하는 실시간 객체 검출 모델을 개발하기 위해.
• RNN을 CNN 특징 추출 파이프라인에 통합하여 바운딩 박스 및 클래스 예측 정확도를 향상시키기 위해.
• 비최대 억제(NMS) 단계를 RNN 기반 필터링 메커니즘으로 대체하여 더 빠른 추론을 위해.
• 표준 그리드 기반 앵커보다 더 높은 IoU 성능을 달성하기 위해 전체 차원의 k-means 클러스터링을 사용해 앵커 박스 생성을 최적화하기 위해.
• VOC2007과 같은 표준 벤치마크에서 높은 mAP와 낮은 추론 지연 시간을 동시에 달성하기 위해.

제안 방법

• 장기적 의존성을 포착하고 전역 특징 표현을 향상시키기 위해, RNN 모듈을 CNN 아키텍처 내부의 패키지 단위로 통합한다.
• 표준 그리드 기반 앵커 생성 방식보다 평균 IoU를 향상시키기 위해 전체 특징맵 전역에서 독립적인 앵커 박스를 생성하기 위해 전체 차원의 k-means 클러스터링을 적용한다.
• 기존의 NMS를 대체하기 위해 RNN 기반 후처리 필터를 도입하여 최종 검출 결과를 더 효율적으로 선택한다.
• YOLOv2 및 SSD와 유사한 단계 검출기 아키텍처를 사용하여 최종 특징맵에서 직접 클래스 점수와 바운딩 박스를 예측한다.
• 엔드 투 엔드 네트워크를 표준 검출 손실 함수를 사용해 훈련하며, RNN 파라미터는 역전파 동안 함께 최적화된다.
• 국소화 정확도 향상을 위해 다중 척도 특징 융합 및 공간적 지도 학습을 적용한다.

실험 결과

연구 질문

• RQ1 CNN 기반 객체 검출기에 RNN을 통합하여 전역 맥락을 모델링함으로써 검출 정확도를 향상시킬 수 있는가?
• RQ2 전체 차원의 k-means 클러스터링을 사용한 앵커 생성 방식이 기존의 그리드 기반 앵커 생성 방식보다 더 높은 평균 IoU를 제공하는가?
• RQ3 RNN 기반 필터링 메커니즘이 NMS를 대체할 수 있으며, 추론 시간을 단축시키면서도 검출 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 로컬 및 전역 특징의 융합이 실시간 객체 검출에서 mAP에 얼마나 기여하는가?
• RQ5 VOC2007에서 최신 1단계 검출기인 YOLOv2 및 SSD와 비교해 Yes-Net의 성능은 어떻게 되는가?

주요 결과

• Yes-Net는 416×416 입력 해상도를 사용하여 VOC2007 테스트 세트에서 79.2% mAP를 달성한다.
• 모델은 Nvidia Titan X Pascal GPU에서 39 FPS로 실행되어 실시간 추론 능력을 입증한다.
• 전체 차원의 k-means를 통한 앵커 생성 방식은 기존의 표준 그리드 기반 앵커 생성 방식보다 더 높은 평균 IoU를 기록한다.
• RNN 기반 필터링 메커니즘이 NMS를 대체하며, 검출 품질을 손상시키지 않은 채 더 빠른 추론을 기여한다.
• RNN을 CNN 백본에 통합함으로써 전역 맥락을 포착함으로써 특징 표현이 향상되어 더 나은 국소화 및 분류 성능을 달성한다.
• Yes-Net는 높은 추론 속도를 유지하면서도 기준 모델 대비 mAP에서 뛰어난 성능을 보이며, 1단계 검출기에서 전역 정보 통합의 효과성을 확인한다.