[论文解读] Learning Modulated Loss for Rotated Object Detection

Wen Qian, Xue Yang+3 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image and Video Retrieval Techniques参考文献 54被引用 63

一句话总结

本论文在旋转目标检测中识别出旋转敏感性误差，并通过调制旋转损失和八参数回归进行修正，在 DOTA 上达到最先进水平并具备良好泛化。

ABSTRACT

Popular rotated detection methods usually use five parameters (coordinates of the central point, width, height, and rotation angle) to describe the rotated bounding box and l1-loss as the loss function. In this paper, we argue that the aforementioned integration can cause training instability and performance degeneration, due to the loss discontinuity resulted from the inherent periodicity of angles and the associated sudden exchange of width and height. This problem is further pronounced given the regression inconsistency among five parameters with different measurement units. We refer to the above issues as rotation sensitivity error (RSE) and propose a modulated rotation loss to dismiss the loss discontinuity. Our new loss is combined with the eight-parameter regression to further solve the problem of inconsistent parameter regression. Experiments show the state-of-art performances of our method on the public aerial image benchmark DOTA and UCAS-AOD. Its generalization abilities are also verified on ICDAR2015, HRSC2016, and FDDB. Qualitative improvements can be seen in Fig 1, and the source code will be released with the publication of the paper.

研究动机与目标

• 提高旋转目标检测的稳定性和准确性，解决损失不连续性和参数回归不一致性。
• 将旋转敏感性误差(RSE) 表述为旋转边界损失不连续性和参数之间的单位不一致性。
• 为五参数模型提出调制旋转损失以平滑学习。
• 采用八参数回归以消除回归单位不一致并提升稳定性。
• 展示在 DOTA 上的最先进性能并对 ICDAR2015、HRSC2016、UCAS-AOD 具有鲁棒转移。

提出的方法

• 定义五参数(OpenCV 风格)和八参数边界框表示。
• 识别由于角度周期性以及宽高交换在五参数模型和回归单位不匹配引起的旋转敏感性误差(RSE)。
• 引入调制旋转损失(ell_mr)，在标准的类似 L1 项与基于对称性的修正之间进行混合，以在边界附近平滑损失(Eq. 4)。
• 用归一化坐标和纵横比表达五参数回归的ell_mr(Eq. 5-4)。
• 通过 ell_8p_mr 解决八参数模型中的残留不连续性，它通过调整顶点顺序并在三种对齐情景中取最小值(Eq. 6)。
• 表明 RSDet 基于 RetinaNet-H，使用八参数回归和 ell_mr，训练稳定并在旋转目标基准上优于基线。

实验结果

研究问题

• RQ1 使用五参数或八参数表示时，标准训练会导致什么原因导致旋转目标检测的训练不稳定和性能下降？
• RQ2 调制损失是否可以解决由角度周期性和宽高交换引起的损失不连续性？
• RQ3 八参数回归是否能缓解单位不一致并提高旋转框的回归稳定性？
• RQ4 提议的 RSDet 与最新方法在 DOTA 上的表现如何并对其他数据集的泛化能力如何？

主要发现

• 使用 ell_mr 的五参数模型在 DOTA 上，使用 ResNet-50 RetinaNet-H 的 mAP 从 62.14 提升到 64.49。
• 使用 ell_mr 的八参数回归使 mAP 在 DOTA 上进一步提升至 66.77。
• RSDet 采用八参数回归显示训练稳定性提升（图7）并在不同骨干网络（ResNet-50/101/152）上具有更高精度。
• 在 DOTA 上，RSDet 结合 ResNet-152+Refine 在消融实验中达到 74.1 mAP；RSDet 的变体在表3中超过若干方法（如 RRPN、SCRDet、R3 Det）。
• ICDAR2015 和 HRSC2016 泛化良好，ell_mr 与八参数回归相对于基线给出更好的 AP（表5）。
• UCAS-AOD 结果显示 RSDet 在 Plane 和 Car 任务上达到 96.50% 的 AP，超过现有方法（表6）。