[논문 리뷰] Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors

Jingru Yi, Pengxiang Wu외 4명|arXiv (Cornell University)|2020. 08. 17.

Advanced Neural Network Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 항공 영상에서 경계가 기울어진 바운딩 박스를 표현하기 위해 상자 경계 인식 벡터(BBAVectors)를 사용하는 단일 단계, 앵커 기반의 방향성 객체 검출 방법을 제안한다. 기울어진 좌표계에서 너비, 높이, 각도를 회귀하는 대신, 고정된 카르테시안 좌표계에서 중심점과 네 개의 벡터(상단, 우측, 하단, 좌측)를 검출함으로써 정확도와 강건성을 향상시킨다. 특히 코너 케이스에서 유의미한 성능 향상을 보이며, HRSC2016에서 88.6% mAP을 달성하고 최신 기술을 능가한다.

ABSTRACT

Oriented object detection in aerial images is a challenging task as the objects in aerial images are displayed in arbitrary directions and are usually densely packed. Current oriented object detection methods mainly rely on two-stage anchor-based detectors. However, the anchor-based detectors typically suffer from a severe imbalance issue between the positive and negative anchor boxes. To address this issue, in this work we extend the horizontal keypoint-based object detector to the oriented object detection task. In particular, we first detect the center keypoints of the objects, based on which we then regress the box boundary-aware vectors (BBAVectors) to capture the oriented bounding boxes. The box boundary-aware vectors are distributed in the four quadrants of a Cartesian coordinate system for all arbitrarily oriented objects. To relieve the difficulty of learning the vectors in the corner cases, we further classify the oriented bounding boxes into horizontal and rotational bounding boxes. In the experiment, we show that learning the box boundary-aware vectors is superior to directly predicting the width, height, and angle of an oriented bounding box, as adopted in the baseline method. Besides, the proposed method competes favorably with state-of-the-art methods. Code is available at https://github.com/yijingru/BBAVectors-Oriented-Object-Detection.

연구 동기 및 목표

• 밀도 높은 배치와 임의의 방향을 가진 객체가 존재하는 항공 영상에서의 방향성 객체 검출 과제를 해결하기 위해.
• 특히 심각한 양성-음성 불균형과 계산 비용이 큰 앵커 기반 검출기의 한계를 극복하기 위해.
• 시간 소모가 큰 그룹화 과정을 피하고 더 빠르고 정확한 검출을 가능하게 하기 위해, 키포인트 기반 방법을 개선하기 위해.
• 회전에 대해 불변이며, 너비, 높이, 각도를 직접 학습하는 것보다 학습이 더 쉬운 방향성 바운딩 박스 표현 방식을 설계하기 위해.
• 좌표축에 거의 수직 또는 평행한 경우, 즉 벡터 분류가 모호해지는 코너 케이스를 다루기 위해.

제안 방법

• 키포인트 기반 검출기를 사용해 객체 중심 키포인트를 검출하여, 기울어진 바운딩 박스 예측의 기초를 마련한다.
• 상자 경계 인식 벡터(BBAVectors): 고정된 카르테시안 좌표계에서 중심에서 상단, 우측, 하단, 좌측 경계까지의 거리를 나타내는 네 개의 벡터(t, r, b, l)를 도입한다.
• BBAVectors는 단일 단계, 앵커 기반 방식으로 학습되어, 영역 제안 네트워크나 앵커 생성이 필요 없도록 한다.
• 벡터가 x축 및 y축에 가까운 코너 케이스를 다루기 위해, 상자 유형을 수평(BB)과 회전(RBB)으로 분류하고, 일반화 성능 향상을 위해 별도의 회귀 헤드를 사용한다.
• 모델은 ResNet101 백본을 사용하며, 표준 검출 헤드를 사용하여 학습하고, 중심 키포인트 및 벡터 회귀를 위한 손실 함수를 최적화한다.
• 모델은 DOTA 및 HRSC2016 데이터셋에서 평가되었으며, 기준 모델인 Center+wh+θ 및 최신 기술과의 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 BBAVectors를 사용하는 단일 단계, 앵커 기반 방식의 검출기가 기존의 앵커 기반 및 키포인트 기반 방법보다 항공 영상에서 방향성 객체 검출 성능을 뛰어나게 할 수 있는가?
• RQ2 고정된 카르테시안 좌표계에서 상자 경계 인식 벡터를 학습하는 것이, 기울어진 좌표계에서 너비, 높이, 각도를 학습하는 것보다 일반화 성능을 향상시키고 회귀 난이도를 낮추는가?
• RQ3 제안된 방향성 분류(HBB 대 RBB)가 좌표축에 가까운 코너 케이스에서 성능 저하를 완화하는 데 얼마나 효과적인가?
• RQ4 두 단계 또는 복잡한 앵커 기반 검출기 대비 BBAVectors의 추론 속도 및 모델 효율성에 미치는 영향은 어떠한가?
• RQ5 BBAVector 표현 방식이 DOTA 및 HRSC2016와 같은 벤치마크 데이터셋에서 mAP에 얼마나 기여하는가?

주요 결과

• 제안된 BBAVectors+rh 방법은 HRSC2016 데이터셋에서 88.6% mAP를 달성하여 기준 모델인 Center+wh+θ보다 4.82% 포인트 높은 성능을 보였다.
• DOTA 데이터셋에서 BBAVectors+rh는 71.61% mAP를 기록하여 기준 모델인 Center+wh+θ보다 2.74% 포인트 향상되었다.
• HRSC2016에서 BBAVectors+rh는 BBAVectors+r 대비 0.4% 향상되었고, DOTA에서는 0.71% 향상되어, 코너 케이스에서 별도의 HBB/RBB 처리 방식의 효과를 입증했다.
• 단일 NVIDIA TITAN X GPU에서 12.88 FPS로 실행되어 ROI Transformer 대비 2.18배 빠른 추론 속도를 보이며 높은 추론 효율성을 확보했다.
• HRSC2016 및 DOTA 양쪽에서 최신 기술을 능가하는 성능을 달성했으며, R2PN, RRD, ROI Transformer를 초월하는 mAP를 기록했고, 빠른 속도도 유지했다.
• 제거 분석 결과, BBAVectors는 특히 좌표축 근처에서 방향성의 모호성이 높은 영역에서 너비 w, 높이 h, 각도 θ를 직접 회귀하는 것보다 더 강건한 것으로 확인되었다.