[论文解读] Dense RepPoints: Representing Visual Objects with Dense Point Sets

Ze Yang, Yinghao Xu+6 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Image and Video Retrieval Techniques参考文献 55被引用 16

一句话总结

本文提出Dense RepPoints，一种使用密集属性点集的统一目标表示方法，可在框级别和像素级别建模目标。通过结合距离变换采样、集合到集合的监督机制以及Delaunay三角剖分，该方法在ResNeXt-101-DCN主干网络下实现了SOTA性能（COCO test-dev上达到48.9 mAP），同时通过分组池化和共享特征场实现近乎恒定的计算复杂度。

ABSTRACT

We present a new object representation, called Dense RepPoints, that utilizes a large set of points to describe an object at multiple levels, including both box level and pixel level. Techniques are proposed to efficiently process these dense points, maintaining near-constant complexity with increasing point numbers. Dense RepPoints is shown to represent and learn object segments well, with the use of a novel distance transform sampling method combined with set-to-set supervision. The distance transform sampling combines the strengths of contour and grid representations, leading to performance that surpasses counterparts based on contours or grids. Code is available at \url{https://github.com/justimyhxu/Dense-RepPoints}.

研究动机与目标

• 开发一种统一的目标表示方法，能够有效建模从边界框到像素级掩码的多粒度视觉目标。
• 克服稀疏点表示方法（如RepPoints）以及基于网格或掩码的方法在捕捉细粒度几何结构方面的局限性。
• 实现在密集点集上高效的学习与推理，避免线性复杂度增长。
• 通过引入一种新颖的点集掩码表示采样与监督策略，提升实例分割性能。
• 证明密集点集可作为灵活且统一的表示方式，同时增强检测与分割任务的性能。

提出的方法

• 提出距离变换采样（DTS），将真实边界掩码转换为基于距离变换图的概率采样点集。
• 引入集合到集合的监督损失，避免刚性点对点对应关系，从而实现更鲁棒且语义更合理的实例分割训练。
• 采用Delaunay三角剖分将学习得到的非网格密集RepPoints转换为高分辨率实例掩码，实现插值。
• 应用分组池化与共享偏移/属性特征场，即使点数增加，也能保持近乎恒定的推理复杂度。
• 使用基于ResNet的主干网络，结合自适应点头，端到端预测点位置与属性。
• 采用统一框架，使相同的密集点表示同时支持目标检测与实例分割。

实验结果

研究问题

• RQ1 密集点集表示是否能在一个统一框架下有效统一目标检测与实例分割？
• RQ2 如何高效地对密集点集进行采样与监督，以在不引发线性复杂度增长的前提下建模精细的物体几何结构？
• RQ3 基于距离变换采样的点表示方法在分割精度上是否优于传统的轮廓或网格掩码表示？
• RQ4 通过优化属性分数预测与点定位，密集点表示模型的性能可提升至何种程度？
• RQ5 通过在检测与分割任务间共享特征的统一表示，是否能整体提升识别性能？

主要发现

• 在ResNeXt-101-DCN主干网络下，Dense RepPoints在COCO test-dev上达到48.9 mAP，优于SOTA的无锚点方法ATSS（47.7 mAP）。
• 使用ResNet-101主干网络时，该方法在框mAP上达到45.6，掩码mAP达到39.1，优于RepPoints与Mask R-CNN。
• 上限分析表明，若属性分数完美，ResNet-50主干下mAP可达39.4，当点数达到729时，IoU超过95%。
• 集合到集合的监督损失相比点对点监督具有更好的泛化能力，尤其在细粒度几何建模方面表现更优。
• DTS与Delaunay三角剖分的结合在使用真实点与分数时，可实现近乎完美的掩码重建（IoU > 95%）。
• 分组池化与共享特征场即使在点数增加时也能保持近乎恒定的复杂度，从而实现对密集点集的高效推理。