[论文解读] Dense Label Encoding for Boundary Discontinuity Free Rotation Detection

Xue Yang, Liping Hou+3 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 66被引用 18

一句话总结

该论文提出了一种用于旋转检测的密集标签编码（DLE）方法，通过角度分类消除回归方法固有的边界不连续性问题。通过引入两种密集编码标签（DCL）和角度距离与纵横比敏感加权（ADARSW），该方法将训练速度提升约3倍，并在DOTA和HRSC2016等具有挑战性的数据集上将mAP提升最高达2.3%，实现了更高的精度与效率，达到当前最优性能。

ABSTRACT

Rotation detection serves as a fundamental building block in many visual applications involving aerial image, scene text, and face etc. Differing from the dominant regression-based approaches for orientation estimation, this paper explores a relatively less-studied methodology based on classification. The hope is to inherently dismiss the boundary discontinuity issue as encountered by the regression-based detectors. We propose new techniques to push its frontier in two aspects: i) new encoding mechanism: the design of two Densely Coded Labels (DCL) for angle classification, to replace the Sparsely Coded Label (SCL) in existing classification-based detectors, leading to three times training speed increase as empirically observed across benchmarks, further with notable improvement in detection accuracy; ii) loss re-weighting: we propose Angle Distance and Aspect Ratio Sensitive Weighting (ADARSW), which improves the detection accuracy especially for square-like objects, by making DCL-based detectors sensitive to angular distance and object's aspect ratio. Extensive experiments and visual analysis on large-scale public datasets for aerial images i.e. DOTA, UCAS-AOD, HRSC2016, as well as scene text dataset ICDAR2015 and MLT, show the effectiveness of our approach. The source code is available at https://github.com/Thinklab-SJTU/DCL_RetinaNet_Tensorflow and is also integrated in our open source rotation detection benchmark: https://github.com/yangxue0827/RotationDetection.

研究动机与目标

• 为解决由周期性角度回归和边交换性引起的旋转检测中的边界不连续性问题。
• 提升基于分类的旋转检测器的训练效率与检测精度。
• 开发一种轻量化、鲁棒的角度分类框架，避免稀疏编码标签（SCL）和回归方法的缺陷。
• 增强对角度距离和纵横比的敏感度，尤其针对类似正方形和高纵横比的物体。
• 建立一种可泛化的高性能解决方案，兼容现有检测器如RetinaNet和R3Det。

提出的方法

• 提出两种密集编码标签（DCL）——二进制编码标签（BCL）和格雷码编码标签（GCL），以替代稀疏编码标签（SCL），减少编码长度并加速训练。
• 提出角度距离与纵横比敏感加权（ADARSW）策略，一种损失重加权方法，为角度距离更近的预测以及具有极端纵横比的物体分配更高的权重。
• 采用长边定义（180°范围）的边界框，从本质上解决边交换性（EoE）和周期性（PoA）问题。
• 使用交叉熵损失与DCL结合，实现端到端训练，其中每个标签对应一个唯一的角度类别，并采用密集连续编码。
• 通过主成分分析（PCA）可视化角度特征表示，证实DCL能够实现有意义且具有判别性的特征学习。
• 将DCL集成到RetinaNet和R3Det中，验证了其在多种网络架构上的兼容性与性能提升。

实验结果

研究问题

• RQ1 与基于稀疏编码标签的分类方法相比，角度标签的密集编码是否能显著减少训练时间？
• RQ2 所提出的ADARSW损失重加权策略是否能提升检测精度，尤其在类似正方形和高纵横比物体上？
• RQ3 基于DCL的检测器是否能实现当前最优性能，同时避免边界不连续性问题？
• RQ4 在不同数据集上，DCL方法与基于回归和SCL的方法相比，在mAP和训练速度方面表现如何？
• RQ5 DCL框架在不同检测器主干网络和数据集上的泛化能力如何？

主要发现

• 与SCL基线模型相比，DCL方法的训练速度提升了3倍，该结果在多个基准测试中均得到实证验证。
• 在DOTA验证集上，基于DCL的RetinaNet达到36.71%的mAP50:95，优于SCL基线的CSL模型（35.04%）和基于回归的基线模型。
• 引入ADARSW后，BCL基线模型在ICDAR2015上的10类mAP提升2.3%，GCL基线模型提升2.13%。
• 在HRSC2016数据集上，R3Det-DCL模型达到89.46%的mAP（07）和96.41%的mAP（12），创下新SOTA记录。
• 该方法具有高度泛化能力，在使用大尺寸主干网络和数据增强设置下，R3Det的mAP提升了1.8%。
• 通过PCA的可视化结果证实，即使在损失函数极简的情况下，DCL也能实现有意义的角度特征学习。