[논문 리뷰] Learning Modulated Loss for Rotated Object Detection

Wen Qian, Xue Yang외 3명|arXiv (Cornell University)|2019. 11. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 54인용 수 63

한 줄 요약

논문은 회전 물체 검출기에서의 회전 민감도 오차를 식별하고 이를 모듈화된 회전 손실과 여덟 매개변수 회귀로 해결하며 DOTA에서 최첨단 성능과 다른 데이터셋으로의 일반화 를 달성합니다.

ABSTRACT

Popular rotated detection methods usually use five parameters (coordinates of the central point, width, height, and rotation angle) to describe the rotated bounding box and l1-loss as the loss function. In this paper, we argue that the aforementioned integration can cause training instability and performance degeneration, due to the loss discontinuity resulted from the inherent periodicity of angles and the associated sudden exchange of width and height. This problem is further pronounced given the regression inconsistency among five parameters with different measurement units. We refer to the above issues as rotation sensitivity error (RSE) and propose a modulated rotation loss to dismiss the loss discontinuity. Our new loss is combined with the eight-parameter regression to further solve the problem of inconsistent parameter regression. Experiments show the state-of-art performances of our method on the public aerial image benchmark DOTA and UCAS-AOD. Its generalization abilities are also verified on ICDAR2015, HRSC2016, and FDDB. Qualitative improvements can be seen in Fig 1, and the source code will be released with the publication of the paper.

연구 동기 및 목표

• 회전 물체 탐지의 안정성과 정확도 향상을 위한 손실 불연속성 및 매개변수 회귀 불일치를 해결하는 것을 목표로 함.
• 회전 민감도 오류(RSE)를 회전 경계 손실 불연속성과 매개변수 간 단위 비일치로 형식화.
• 다섯 매개변수 모델을 위한 학습을 부드럽게 하는 모듈화된 회전 손실(ell_mr)을 제안.
• 회귀 단위 비일치를 제거하고 안정성을 개선하기 위해 여덟 매개변수 회귀를 채택.
• DOTA에서 최첨단 성능을 달성하고 ICDAR2015, HRSC2016, UCAS-AOD로의 robust한 전이 성능을 입증합니다.

제안 방법

• 다섯 매개변수(OpenCV 스타일) 및 여덟 매개변수 경계 상자 표현을 정의합니다.
• 다섯 매개변수 모델에서의 각도 주기성과 너비/높이 교환으로 인한 회전 민감도 오류(RSE) 및 회귀 단위 불일치를 식별합니다.
• 경계 근처의 손실을 평활화하기 위한 표준 L1 유사 항과 대칭 보정의 혼합을 특징으로 하는 모듈화된 회전 손실(ell_mr)을 도입합니다(Eq. 4).
• 정규화된 좌표 및 종횡비를 사용하여 다섯 매개변수 회귀에 대한 ell_mr을 표현합니다(Eq. 5-4).
• 여덟 매개변수 모델의 잔여 불연속성을 ell_8p_mr로 다루어 꼭짓점 순서를 바꾸고 세 가지 정렬 시나리오 중 최소값을 취합니다(Eq. 6).
• RSDet가 RetinaNet-H 위에 여덟 매개변수 회귀와 ell_mr를 바탕으로 학습이 안정적으로 진행되고 기준선보다 rotated object 벤치마크에서 더 높은 성능을 보임을 보입니다.

실험 결과

연구 질문

• RQ1 표준 다섯 매개변수 또는 여덟 매개변수 표현을 사용할 때 회전 물체 탐지기의 학습 불안정성과 성능 저하의 원인은 무엇입니까?
• RQ2 각도 주기성과 너비-높이 교환으로 인한 손실 불연속성을 모듈화된 손실이 해결할 수 있습니까?
• RQ3 여덟 매개변수 회귀가 단위 불일치를 완화하고 회전 박스의 회귀 안정성을 개선합니까?
• RQ4 제안된 RSDet가 DOTA에서 최첨단 방법과 비교하여 어떤 성능을 보이며 다른 데이터셋으로 일반화됩니까?

주요 결과

Method	PL	BD	BR	GTF	SV	LV	SH	TC	BC	ST	SBF	RA	HA	SP	HC	mAP
FR-O [13]	79.1	69.1	17.2	63.5	34.2	37.2	36.2	89.2	69.6	59.0	49.4	52.5	46.7	44.8	46.3	52.9
R 2 CNN [20]	80.9	65.7	35.3	67.4	59.9	50.9	55.8	90.7	66.9	72.4	55.1	52.2	55.1	53.4	48.2	60.7
RRPN [21]	88.5	71.2	31.7	59.3	51.9	56.2	57.3	90.8	72.8	67.4	56.7	52.8	53.1	51.9	53.6	61.0
RetinaNet-H+ResNet50 [10]	88.9	74.5	40.1	58.0	63.1	50.6	63.6	90.9	77.9	76.4	48.3	55.9	50.7	60.2	34.2	62.2
RSDet+ResNet50 (ours)	89.3	82.7	47.7	63.9	66.8	62.0	67.3	90.8	85.3	82.4	62.3	62.4	65.7	68.6	64.6	70.8
RSDet+ResNet101 (ours)	89.8	82.9	48.6	65.2	69.5	70.1	70.2	90.5	85.6	83.4	62.5	63.9	65.6	67.2	68.0	72.2
RSDet+ResNet152 (ours)	90.2	83.5	53.6	70.1	64.6	79.4	67.3	91.0	88.3	82.5	64.1	68.7	62.8	69.5	66.9	73.5
RSDet+ResNet152+Refine (ours)	90.1	82.0	53.8	68.5	70.2	78.7	73.6	91.2	87.1	84.7	64.3	68.2	66.1	69.3	63.7	74.1

• 다섯 매개변수 모델에 ell_mr를 적용하면 ResNet-50 RetinaNet-H에서 DOTA의 mAP가 62.14에서 64.49로 향상됩니다.
• 여덟 매개변수 회귀에 ell_mr를 적용하면 DOTA에서 mAP가 66.77로 추가로 향상됩니다.
• RSDet는 여덟 매개변수 회귀와 ell_mr로 학습 안정성이 향상되었음을 보여주며 다양한 백본(ResNet-50/101/152)에서 더 높은 정확도를 달성합니다(도표 Fig. 7).
• DOTA에서 RSDet + ResNet-152+Refine은 절차적 제거(ablation)에서 74.1 mAP를 달성하며 RSDet 변형이 Table 3의 RRPN, SCRDet, R3 Det 등과 같은 여러 최첨단 방법을 능가합니다.
• ICDAR2015 및 HRSC2016은 잘 일반화되며, ell_mr 및 여덟 매개변수 회귀가 기준선 대비 더 나은 AP를 제공합니다(Table 5).
• UCAS-AOD 결과에서 RSDet는 Plane 및 Car 작업에서 96.50% AP를 달성해 기존 방법을 능가합니다(Table 6).