[논문 리뷰] IENet: Interacting Embranchment One Stage Anchor Free Detector for Orientation Aerial Object Detection

Youtian Lin, Pengming Feng외 3명|arXiv (Cornell University)|2019. 12. 02.

Advanced Neural Network Applications참고 문헌 47인용 수 76

한 줄 요약

IENet은 방향성 항공 물체 탐지를 위한 한 단계 앵커-프리 탐지기로, 기하학적 변환을 사용해 OBB를 HBB로 표현하고, 각 브랜치의 특징을 융합하기 위해 자기 주의(셀프 어텐션)를 활용하는 상호 작용식 분기 확장 모듈을 도입하여 방향 예측을 개선합니다.

ABSTRACT

Object detection in aerial images is a challenging task due to the lack of visible features and variant orientation of objects. Significant progress has been made recently for predicting targets from aerial images with horizontal bounding boxes (HBBs) and oriented bounding boxes (OBBs) using two-stage detectors with region based convolutional neural networks (R-CNN), involving object localization in one stage and object classification in the other. However, the computational complexity in two-stage detectors is often high, especially for orientational object detection, due to anchor matching and using regions of interest (RoI) pooling for feature extraction. In this paper, we propose a one-stage anchor free detector for orientational object detection, namely, an interactive embranchment network (IENet), which is built upon a detector with prediction in per-pixel fashion. First, a novel geometric transformation is employed to better represent the oriented object in angle prediction, then a branch interactive module with a self-attention mechanism is developed to fuse features from classification and box regression branches. Finally, we introduce an enhanced intersection over union (IoU) loss for OBB detection, which is computationally more efficient than regular polygon IoU. Experiments conducted demonstrate the effectiveness and the superiority of our proposed method, as compared with state-of-the-art detectors.

연구 동기 및 목표

• 일단계 앵커-프리 방식으로 항공 영상에서 방향성 물체 탐지를 효율적으로 수행하도록 동기를 부여한다.
• 방향 매개변수와 함께 주변의 수평 바운딩 박스로 방향 바운딩 박스를 변환하는 표현을 개발한다.
• 클래스화/회귀 특징을 융합하기 위한 셀프 어텐션을 갖춘 상호 작용적 분기 확장 모듈을 제안하여 강건한 방향 회귀를 달성한다.

제안 방법

• FCOS를 FCOS-O로 적응시켜 픽셀 단위 방향 예측의 기준선을 제시한다.
• OBB를 주변 HBB와 방향 매개변수 [w,h]로 표현하는 기하학적 변환을 도입한다.
• 셀프 어텐션을 사용해 분류 및 바운딩 박스 회귀 브랜치의 특징을 융합하는 인터랙티브 엠브란칭먼트(IE) 모듈을 설계한다.
• 계산량 감소를 위해 내부 박스에서 도출된 OBB IoU 손실을 구현한다.
• FCOS 유사 헤드에 방향 회귀 브랜치를 추가한 엔드투엔드 일단계 아키텍처를 사용한다.
• 손실 조합 L = (1/Npos)L_cls + (λ/Npos)L_reg + (ω/Npos)L_ori를 사용하며, HBB와 OBB에 대한 특정 IoU 항을 포함한다.

실험 결과

연구 질문

• RQ1 앵커-프리의 일단계 DETECTOR가 방향성 항공 물체 탐지에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 방향 매개변수를 가진 주변 HBB를 통해 OBB를 표현하는 것이 회귀의 안정성과 정확도를 향상시키는가?
• RQ3 셀프 어텐션을 갖춘 IE 모듈이 교차 브랜치 특징 융합을 통해 방향 회귀를 개선할 수 있는가?
• RQ4 제안된 OBB IoU 손실이 계산 효율적이면서도 실제 OBB와의 정렬을 유지하는가?

주요 결과

• IENet은 공개 항공 데이터셋에서 정확도와 효율성 측면에서 기준선일치하는 한단계 방향 탐지기들보다 우수한 성능을 보인다.
• 기하학적 변환은 OBB 회귀를 HBB 회귀와 방향 회귀로 분해함으로써 효과적인 회귀를 가능하게 한다.
• 셀프 어텐션을 가진 IE 모듈이 교차 브랜치 특징 관계를 활용하여 방향 예측을 향상시킨다.
• 내부 박스 IoU 기반 손실은 전체 OBB IoU에 비해 계산을 줄이면서 OBB 회귀를 안내한다.
• DOTA와 HRSC2016에 대한 실험은 최신 탐지기와 경쟁력 있는 결과를 보여주며 속도와 메모리 효율이 향상된다.