[논문 리뷰] Learning a Rotation Invariant Detector with Rotatable Bounding Box

Lei Liu, Zongxu Pan외 1명|arXiv (Cornell University)|2017. 11. 26.

Advanced Neural Network Applications참고 문헌 23인용 수 165

한 줄 요약

요약: 본 논문은 회전 가능 경계 상자(RBox)를 이용한 회전 불변 탐지기 DRBox를 제시하여 원격 sensing 이미지에서 임의 방향으로 배치된 객체를 정확하게 검출하고, SSD 및 Faster R-CNN보다 우수한 성능을 보이며, 다각 객체를 위한 방향을 학습하여 방향 각도를 출력합니다.

ABSTRACT

Detection of arbitrarily rotated objects is a challenging task due to the difficulties of locating the multi-angle objects and separating them effectively from the background. The existing methods are not robust to angle varies of the objects because of the use of traditional bounding box, which is a rotation variant structure for locating rotated objects. In this article, a new detection method is proposed which applies the newly defined rotatable bounding box (RBox). The proposed detector (DRBox) can effectively handle the situation where the orientation angles of the objects are arbitrary. The training of DRBox forces the detection networks to learn the correct orientation angle of the objects, so that the rotation invariant property can be achieved. DRBox is tested to detect vehicles, ships and airplanes on satellite images, compared with Faster R-CNN and SSD, which are chosen as the benchmark of the traditional bounding box based methods. The results shows that DRBox performs much better than traditional bounding box based methods do on the given tasks, and is more robust against rotation of input image and target objects. Besides, results show that DRBox correctly outputs the orientation angles of the objects, which is very useful for locating multi-angle objects efficiently. The code and models are available at https://github.com/liulei01/DRBox.

연구 동기 및 목표

• 원격 탐사 영상에서 임의 방향으로 배치된 대상에 대한 회전 불변 객체 검출의 필요성을 제시한다.
• 위치와 크기와 함께 방향을 인코딩하기 위해 회전 가능 경계 상자(RBox)를 제안한다.
• 다각 방향 RBox와 각도를 예측하는 CNN 기반 탐지기 DRBox를 개발한다.
• 올바른 각도 추정을 강제하기 위해 ArIoU 기반 매칭으로 DRBox를 학습한다.
• 전통적인 BBox 기반 탐지기 대비 정확도와 회전 강건성의 개선을 입증한다.

제안 방법

• 회전 가능 경계 상자(RBox)를 각도 포함 5개 매개변수로 정의한다.
• 매칭 및 학습 지침으로 IoU와 각도 인식 ArIoU를 사용한다.
• 각도 주기성을 위한 탄젠트 형태의 각도 회귀 항을 포함하도록 SSD 손실을 확장한다.
• 탐지 중 방향을 따라 다각도 후보를 탐색하기 위해 다각도 priors RBoxes를 도입한다.
• 큰 위성 영상 처리를 위해 피라미드 입력과 300x300 서브 이미지 방식을 적용한다.
• 각 카테고리별 고정 종횡비에 맞춰 선박, 차량, 비행기에 대해 세 가지 특화 DRBox 모델을 학습한다.

실험 결과

연구 질문

• RQ1 회전 가능 경계 상자가 위성 영상의 임의 방향 객체에 대해 회전 불변 검출을 가능하게 하는가?
• RQ2 ArIoU 기반 매칭으로 학습하면 회전 간 각도 추정과 검출 정확도가 향상되는가?
• RQ3 DRBox가 원격 sensing 데이터에서 정밀도, 재현율, 회전 강건성 측면에서 BBox 기반 탐지기(SSD, Faster R-CNN)와 어떻게 비교되는가?
• RQ4 다각도 priors와 피라미드 입력이 탐지 성능과 속도에 어떤 영향을 미치는가?

주요 결과

방법	데이터셋	BEP(%)	AP(%)	mAP(%)
Faster R-CNN	Ship	79.20	82.29	85.63
Faster R-CNN	Vehicle	71.60	75.55	-
Faster R-CNN	Airplane	98.07	99.06	-
SSD	Ship	82.72	82.89	89.68
SSD	Vehicle	83.13	87.59	-
SSD	Airplane	97.74	98.56	-
DRBox	Ship	94.62	94.06	94.13
DRBox	Vehicle	-	89.07	-
DRBox	Airplane	98.62	99.28	-

• DRBox는 해양 선박, 차량, 비행기 탐지에서 BEP, AP, mAP 지표 모두에서 Faster R-CNN 및 SSD보다 우수하다.
• DRBox는 입력 이미지 및 객체의 회전에 대한 강건성(STD_AP 및 STD_AS)을 개선하며 더 높은 정밀도-재현율 성능을 달성한다.
• ArIoU 기반 매칭은 적절한 각도 가이던스를 갖는 양성 샘플 할당을 도와 학습된 방향 추정을 가능하게 한다.
• DRBox는 탐지된 객체의 방향 각도를 출력하여 다각도 대상의 위치 추정을 돕는다.
• DRBox는 GTX 1080Ti에서 70–80 fps로 작동하며 피라미드 입력은 시간 비용을 최대 4/3만 추가하고 약 1600x1600 px2/s의 속도를 낸다.