[论文解读] AutoCorrect: Deep Inductive Alignment of Noisy Geometric Annotations

Honglie Chen, Weidi Xie+2 more|arXiv (Cornell University)|Aug 14, 2019

Remote Sensing and LiDAR Applications参考文献 29被引用 9

一句话总结

AutoCorrect 提出了一种深度学习方法，通过一致性损失和空间记忆图，自动校正航空与卫星图像中的几何标注噪声，实现无需真实标注的自监督训练。该方法在 INRIA Buildings 和新构建的 Railway Tracks 数据集上达到最先进性能，即使在 40% 的标注严重失真情况下，仍优于先前方法。

ABSTRACT

We propose AutoCorrect, a method to automatically learn object-annotation alignments from a dataset with annotations affected by geometric noise. The method is based on a consistency loss that enables deep neural networks to be trained, given only noisy annotations as input, to correct the annotations. When some noise-free annotations are available, we show that the consistency loss reduces to a stricter self-supervised loss. We also show that the method can implicitly leverage object symmetries to reduce the ambiguity arising in correcting noisy annotations. When multiple object-annotation pairs are present in an image, we introduce a spatial memory map that allows the network to correct annotations sequentially, one at a time, while accounting for all other annotations in the image and corrections performed so far. Through ablation, we show the benefit of these contributions, demonstrating excellent results on geo-spatial imagery. Specifically, we show results using a new Railway tracks dataset as well as the public INRIA Buildings benchmarks, achieving new state-of-the-art results for the latter.

研究动机与目标

• 解决在大规模地理空间数据集中，由于人工标注成本过高而难以处理的几何标注噪声问题。
• 实现在无需任何无噪声真实标注的情况下，训练深度神经网络进行标注校正。
• 处理单张图像中多个目标实例的模糊关联性，以及各实例间随机且无关的噪声。
• 通过利用目标对称性（如道路）和基于空间记忆图的序列化校正，提升对齐精度。
• 在航空影像标注校正任务中，为铁路轨道数据建立新的基准。

提出的方法

• 使用一致性损失，强制多个噪声预测之间的几何一致性，从而实现在无真实标注情况下的训练。
• 引入空间记忆图，用于追踪所有标注和先前的校正结果，实现上下文感知的序列化目标实例校正。
• 对每个目标实例应用实例级变换，而非全局位移场，从而实现更精确、局部化的校正。
• 利用目标对称性（如道路）作为隐式约束，降低校正过程中的歧义性。
• 在部分存在清洁标注时，将一致性损失与自监督损失结合，提升模型鲁棒性。
• 仅使用噪声标注进行端到端训练，无需人工筛选或预处理的清洁数据。

实验结果

研究问题

• RQ1 深度神经网络是否能在无任何真实标注可用的情况下，学习校正卫星图像中的几何标注噪声？
• RQ2 在缺乏干净标签的情况下，一致性损失在实现自监督训练方面有多有效？
• RQ3 目标对称性在多大程度上能隐式提升标注校正的准确性和鲁棒性？
• RQ4 空间记忆图是否能有效管理多个目标实例的序列化校正，同时避免重复关联？
• RQ5 当在包含高达 40% 失真标注的大规模噪声数据集上训练时，AutoCorrect 相较于先前方法表现如何？

主要发现

• 在 INRIA Buildings 数据集上，AutoCorrect 在所有 IoU 阈值下均优于先前方法，尤其在实例级校正中显著提升准确率。
• 在新构建的 Railway Tracks 数据集上，AutoCorrect 达到最先进性能，展现出对复杂真实世界标注噪声的强大泛化能力。
• 在 35,000 张图像（含 40% 标注失真）上训练时，AutoCorrect 达到 0.445 的 IoU，与仅含 3,000 张干净图像的手动筛选数据集（IoU 为 0.436）性能相当。
• 一致性损失作为有效的数据增强手段，在 INRIA Buildings 等小规模数据集上表现更优，即使清洁数据有限。
• 该方法能成功校正规则和复杂形状的目标，包括存在遮挡或阴影的情况，如定性结果所示。
• 空间记忆图实现了对多个实例的精确序列化校正，即使各实例间噪声随机且无关。