[논문 리뷰] Align Deep Features for Oriented Object Detection

Jiaming Han, Jian Ding외 2명|arXiv (Cornell University)|2020. 08. 21.

Advanced Neural Network Applications참고 문헌 49인용 수 15

한 줄 요약

이 논문은 축에 맞춰진 특징과 기울인 객체 인스턴스 사이의 특징 비일치 문제를 해결하기 위해 앵커 정렬 및 정렬 컨볼루션을 갖춘 특징 정렬 모듈(FAM)과 활성 회전 필터를 사용하는 기울인 검출 모듈(ODM)을 도입한 단일 스풍류 기반 기울인 객체 검출 프레임워크인 S2A-Net을 제안한다. 이 방법은 한 위치당 하나의 앵커만을 사용함으로써 DOTA에서 79.42%의 mAP, HRSC2016에서 95.01%의 mAP를 달성하여 기존 방법을 크게 능가하면서도 높은 효율성을 유지한다.

ABSTRACT

The past decade has witnessed significant progress on detecting objects in aerial images that are often distributed with large scale variations and arbitrary orientations. However most of existing methods rely on heuristically defined anchors with different scales, angles and aspect ratios and usually suffer from severe misalignment between anchor boxes and axis-aligned convolutional features, which leads to the common inconsistency between the classification score and localization accuracy. To address this issue, we propose a Single-shot Alignment Network (S$^2$A-Net) consisting of two modules: a Feature Alignment Module (FAM) and an Oriented Detection Module (ODM). The FAM can generate high-quality anchors with an Anchor Refinement Network and adaptively align the convolutional features according to the anchor boxes with a novel Alignment Convolution. The ODM first adopts active rotating filters to encode the orientation information and then produces orientation-sensitive and orientation-invariant features to alleviate the inconsistency between classification score and localization accuracy. Besides, we further explore the approach to detect objects in large-size images, which leads to a better trade-off between speed and accuracy. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on two commonly used aerial objects datasets (i.e., DOTA and HRSC2016) while keeping high efficiency. The code is available at https://github.com/csuhan/s2anet.

연구 동기 및 목표

• 항공 영상에서 축에 맞춰진 특징과 기울인 객체 인스턴스 사이의 심각한 비일치 문제를 해결하기 위해.
• 다양한 척도, 각도, 종횡비를 갖춘 수동으로 설계된 앵커에 대한 의존도를 줄이기 위해.
• 단일 스텝 검출기에서 분류 점수와 정렬 정확도 사이의 일관성 문제를 완화하기 위해.
• 큰 크기의 항공 영상에서 높은 속도-정확도 트레이드오프를 확보하면서 효율적인 검출을 가능하게 하기 위해.
• 단일 앵커 설계를 통해 최고 성능을 달성하면서 계산 오버헤드를 최소화하기 위해.

제안 방법

• 초기 앵커를 앵커 정렬 네트워크를 사용해 기울인 앵커로 정렬하는 특징 정렬 모듈(FAM)을 제안한다.
• 정렬된 앵커 박스에 기반해 특징 샘플링 위치를 적응적으로 재배치하는 정렬 컨볼루션 레이어를 도입한다.
• 특징 추출 단계에서 직접적으로 방향 인식 특징을 인코딩하기 위해 활성 회전 필터를 갖춘 기울인 검출 모듈(ODM)을 활용한다.
• 복잡한 앵커 설계가 필요 없고 계산 비용을 줄이기 위해 한 위치당 하나의 앵커를 사용한다.
• 다중 척도 추론과 특징 피라미드 네트워크(FPN)를 적용하여 큰 항공 영상에서의 검출 성능을 향상시킨다.
• 전체 파이프라인을 단일 스텝 검출기로 통합하여 고속 추론과 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 축에 맞춰진 특징과 기울인 객체 사이의 특징 비일치를 효과적으로 줄일 수 있는가, 이를 통해 검출 정확도가 향상되는가?
• RQ2 단일 앵커 설계가 계산 비용을 최소화하면서도 기울인 항공 객체 검출에서 최고 성능을 달성할 수 있는가?
• RQ3 표준 컨볼루션 연산에 비해 활성 회전 필터가 방향 정보를 더 잘 인코딩할 수 있는가?
• RQ4 정렬된 앵커를 통한 특징 정렬이 분류 점수와 정렬 정확도 사이의 일관성 향상에 기여하는가?
• RQ5 제안된 방법은 큰 항공 영상에서 뛰어난 정확도를 달성하면서도 높은 속도를 유지할 수 있는가?

주요 결과

• S2A-Net은 ResNet-50-FPN 백본을 사용할 때 DOTA에서 79.42%의 mAP와 12.7 FPS를 기록하여 모든 이단계 및 단일 스텝 검출기들을 능가한다.
• HRSC2016에서 S2A-Net은 PASCAL VOC2012 기준 95.01%의 mAP를 달성하여 이전 최고 기록보다 2.21% 높으며, 단 하나의 앵커만을 사용한다.
• ResNet-101-FPN 백본을 사용할 때 S2A-Net은 DOTA에서 76.11%의 mAP를 기록하여 새로운 SOTA 기준을 설정한다.
• DOTA의 15개 카테고리 중 10개에서 S2A-Net이 최고 성능을 기록하며, 특히 다리와 수영장과 같은 어려운 카테고리에서 뛰어난 성능을 보인다.
• 밀도가 높고 척도가 다양하게 변하는 환경에서의 오분류를 줄이며, RetinaNet와의 정성적 비교에서 이를 입증한다.
• 제거 분석 결과 FAM 및 ODM 구성 요소가 성능 향상에 크게 기여한다는 것이 확인된다.