[논문 리뷰] SaccadeNet: A Fast and Accurate Object Detector

Shiyi Lan, Zhou Ren외 3명|arXiv (Cornell University)|2020. 03. 26.

Advanced Neural Network Applications참고 문헌 32인용 수 4

한 줄 요약

SaccadeNet은 인간의 눈 깜빡임 운동을 모방하여 개체 중심과 모서리 관건점을 순차적으로 주목함으로써 굵은-세밀한 국소화를 수행하는 빠르고 정확한 객체 검출기이다. MS COCO에서 DLA-34 및 ResNet-18 백본을 사용할 때 각각 28 FPS에서 40.4% mAP, 118 FPS에서 30.5% mAP의 성능을 기록하며, 그룹화 오 overhead 없이 중심과 모서리 특징을 동시 예측함으로써 기존의 모든 실시간 검출기보다 뛰어난 성능을 달성한다.

ABSTRACT

Object detection is an essential step towards holistic scene understanding. Most existing object detection algorithms attend to certain object areas once and then predict the object locations. However, neuroscientists have revealed that humans do not look at the scene in fixed steadiness. Instead, human eyes move around, locating informative parts to understand the object location. This active perceiving movement process is called extit{saccade}. %In this paper, Inspired by such mechanism, we propose a fast and accurate object detector called extit{SaccadeNet}. It contains four main modules, the \cenam, the \coram, the \atm, and the \aggatt, which allows it to attend to different informative object keypoints, and predict object locations from coarse to fine. The \coram~is used only during training to extract more informative corner features which brings free-lunch performance boost. On the MS COCO dataset, we achieve the performance of 40.4\% mAP at 28 FPS and 30.5\% mAP at 118 FPS. Among all the real-time object detectors, %that can run faster than 25 FPS, our SaccadeNet achieves the best detection performance, which demonstrates the effectiveness of the proposed detection mechanism.

연구 동기 및 목표

• 인간의 시각적 눈 깜빡임을 모방하여 유의미한 객체 관건점을 순차적으로 주목함으로써 실시간 객체 검출기를 개발한다.
• 중심과 모서리 특징의 동시 예측을 통해 추론 속도를 희생시키지 않고도 검출 정확도를 향상시킨다.
• 관건점 기반 검출기에서 사용되는 시간이 오래 걸리는 그룹화 알고리즘의 필요성을 제거하기 위해 중심과 모서리를 동시에 예측함으로써 이를 달성한다.
• 중심과 모서리 관건점에서 유도된 특징 융합이 국소화 및 분류 성능에 미치는 영향을 조사한다.
• 활성적인 다단계 관건점 계층에 대한 주목이 실시간 환경에서 검출 정확도를 향상시킬 수 있는지 검증한다.

제안 방법

• Center Attentive Module, Corner Attentive Module, Attention Transitive Module, Aggregation Attentive Module로 구성된 네 모듈 아키텍처를 도입한다.
• Center Attentive Module을 통해 객체 중심과 카테고리 예측을 수행한 후, Attention Transitive Module을 통해 근사적인 모서리 위치를 예측한다.
• 학습 단계에서 Corner Attentive Module을 활용하여 경계 특징 학습을 강화함으로써 추론 비용 없이 국소화 정확도를 향상시킨다.
• Aggregation Attentive Module을 적용하여 중심과 모서리 관건점의 특징을 융합함으로써 바운딩 박스 예측을 정밀하게 개선한다.
• 그룹화 단계를 피하기 위해 중심과 모서리 위치를 동시에 회귀함으로써 높은 추론 속도를 유지한다.
• 이중선형 보간법을 사용하여 대각선 및 중앙 모서리 점을 계산함으로써 관건점 감독을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간의 눈 깜빡임 운동을 모방하는 검출기가 객체 검출의 속도와 정확도를 동시에 향상시킬 수 있는가?
• RQ2 중심과 모서리 관건점의 동시 예측이 후처리 그룹화 단계가 필요 없이도 높은 성능을 유지하는가?
• RQ3 중심과 모서리 관건점에서 유도된 특징 융합이 국소화 정확도 향상에 얼마나 효과적인가?
• RQ4 Aggregation-Attn를 통해 바운딩 박스를 반복적으로 정밀화하는 것이 성능 향상에 기여하는가? 이는 속도 저하를 동반하는가?
• RQ5 모서리 특징이 분류 성능을 떨어뜨리지 않고 국소화 성능을 향상시킬 수 있는가?

주요 결과

• SaccadeNet은 DLA-34 및 ResNet-18 백본을 사용할 때 각각 28 FPS에서 40.4% mAP, 118 FPS에서 30.5% mAP의 성능을 기록하며, 기존의 모든 실시간 검출기보다 뛰어난 성능을 달성한다.
• Aggregation Attentive Module은 특히 높은 IoU 임계값에서 국소화 성능을 크게 향상시키며, 중심과 모서리 특징을 융합할 경우 mAP@90이 18.96%에서 21.07%로 상승한다.
• 모서리 특징만을 사용할 경우 중심 특징만 사용할 때보다 mAP@90이 1.35%포인트 향상되며, 이는 경계 인식 특징의 중요성을 입증한다.
• 다중 Aggregation-Attn 모듈을 통한 반복적 정밀화는 mAP@90을 18.96%에서 21.32%로 향상시키지만, 속도 저하를 동반하므로 효율성을 고려해 단일 모듈 사용이 타당하다.
• 분류 정밀화를 위해 Aggregation-Attn-Cls 모듈을 추가하면 성능이 악화되며(mAP@50가 71.02%에서 52.26%로 감소), 이는 모서리 특징이 분류에 거의 기여하지 않는다는 것을 시사한다.
• Corner Attentive Module은 학습 중에 추론 시간을 증가시키지 않으면서도 성능 향상을 제공하는 무료 성과를 얻을 수 있다.