[논문 리뷰] FreeAnchor: Learning to Match Anchors for Visual Object Detection

Xiaosong Zhang, Fang Wan외 3명|arXiv (Cornell University)|2019. 09. 05.

Advanced Neural Network Applications인용 수 275

한 줄 요약

FreeAnchor는 detector 학습을 최대 가능도 추정(MLE) 과정으로 재구성하여 앵커 모음에서 유연한 앵커 매칭을 학습하고 IoU 기반 할당보다 탐지 성능을 향상시킵니다.

ABSTRACT

Modern CNN-based object detectors assign anchors for ground-truth objects under the restriction of object-anchor Intersection-over-Unit (IoU). In this study, we propose a learning-to-match approach to break IoU restriction, allowing objects to match anchors in a flexible manner. Our approach, referred to as FreeAnchor, updates hand-crafted anchor assignment to "free" anchor matching by formulating detector training as a maximum likelihood estimation (MLE) procedure. FreeAnchor targets at learning features which best explain a class of objects in terms of both classification and localization. FreeAnchor is implemented by optimizing detection customized likelihood and can be fused with CNN-based detectors in a plug-and-play manner. Experiments on COCO demonstrate that FreeAnchor consistently outperforms their counterparts with significant margins.

연구 동기 및 목표

• 핸드 크래프트된 IoU 기반 앵커 할당을 앵커 기반 탐 detectors에서 벗어나도록 동기를 부여한다.
• 객체를 위한 앵커를 선택하는 학습-대-매칭 프레임워크를 제안한다.
• 감지에 특화된 가능도(detection customized likelihood)를 통해 재현율, 정확도, 및 NMS 호환성을 보장한다.
• 분류, 위치 추정 및 앵커 매칭의 엔드-투-엔드 최적화를 가능하게 한다.

제안 방법

• 객체-앵커 쌍에 대한 최대 가능도 추정(MLE)으로 감지기 학습을 형식화한다.
• 감지에 특화된 가능도를 정의하여 재현율과 정밀도 및 NMS 호환성을 함께 최적화한다.
• 각 객체에 대해 IoU가 가장 높은 상위 n개의 앵커를 선택하여 앵커 가방을 구성하고 각 가방에서 최적의 것을 선택하도록 학습한다.
• Mean-max 앵커 선택 메커니즘을 도입하여 학습이 진행될수록 평균형에서 최대형으로 진화하도록 한다.
• 균형 항과 focal loss를 포함하는 감지에 특화된 손실(Eq. 7)로 RetinaNet 손실을 대체한다.
• 기존의 CNN 기반 탐지기와 플러그-앤-플레이 방식으로 접근 방법을 통합한다.]

실험 결과

연구 질문

• RQ1 후보 가방에서 앵커를 매칭하는 학습이 핸드 크래프트된 IoU 기반 할당을 넘어서 객체 탐지를 개선할 수 있는가?
• RQ2 감지에 특화된 가능도가 더 나은 재현율, 정밀도 및 NMS 호환성을 가능하게 하는가?
• RQ3 Mean-max 앵커 선택 전략이 학습 동력학과 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• FreeAnchor는 COCO에서 RetinaNet 기본값 대비 AP를 일관되게 향상시킨다.
• 같은 백본을 사용할 때 FreeAnchor는 RetinaNet에 비해 AP 포인트에서 약 3.0포인트까지 향상한다.
• FreeAnchor는 IoU 임계값 전반에서 더 높은 NMS 재현율을 보이며 NMS와의 호환성이 더 좋음을 시사한다.
• FreeAnchor는 COCO 벤치마크에서 다수의 최첨단 단일 스테이지 탐지기 및 앵커 프리 방법보다 우수하다.
• 학습된 앵커 선택으로 인해 혼잡한 장면과 가느다란 물체에서 앵커 매칭이 더 효과적이 된다.
• 이 방법은 학습 시간을 다소 증가시키는 정도의 학습 효율성을 유지한다.