[论文解读] TTPLA: An Aerial-Image Dataset for Detection and Segmentation of Transmission Towers and Power Lines

Rabab Abdelfattah, Xiaofeng Wang+1 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Neural Network Applications参考文献 40被引用 16

一句话总结

本论文介绍了TTPLA，一个新颖的公开航拍图像数据集，包含1,100张高分辨率（3,840×2,160）图像以及8,987个手动标注的输电塔和电力线路实例，支持实例分割、目标检测和语义分割。该数据集解决了长而细的电力线路、结构多样性以及目标密集等问题，并采用Yolact模型建立了基线，实现了22.96%的平均边界框AP和15.72%的掩码AP，凸显了在密集复杂场景中改进模型的必要性。

ABSTRACT

Accurate detection and segmentation of transmission towers~(TTs) and power lines~(PLs) from aerial images plays a key role in protecting power-grid security and low-altitude UAV safety. Meanwhile, aerial images of TTs and PLs pose a number of new challenges to the computer vision researchers who work on object detection and segmentation -- PLs are long and thin, and may show similar color as the background; TTs can be of various shapes and most likely made up of line structures of various sparsity; The background scene, lighting, and object sizes can vary significantly from one image to another. In this paper we collect and release a new TT/PL Aerial-image (TTPLA) dataset, consisting of 1,100 images with the resolution of 3,840$ imes$2,160 pixels, as well as manually labeled 8,987 instances of TTs and PLs. We develop novel policies for collecting, annotating, and labeling the images in TTPLA. Different from other relevant datasets, TTPLA supports evaluation of instance segmentation, besides detection and semantic segmentation. To build a baseline for detection and segmentation tasks on TTPLA, we report the performance of several state-of-the-art deep learning models on our dataset. TTPLA dataset is publicly available at https://github.com/r3ab/ttpla_dataset

研究动机与目标

• 为解决航拍图像中输电塔（TTs）与电力线路（PLs）实例分割缺乏公开数据集的问题。
• 在不同视角角度、光照条件、背景环境和目标尺度下，收集并标注一个多样化、高分辨率的航拍图像数据集。
• 为评估深度学习模型在包含长而细、重叠电力线路及结构多变输电塔的复杂真实场景中的表现，提供一个基准测试集。
• 在新数据集上使用最先进模型（如Yolact）建立基线，以揭示当前性能局限与研究空白。

提出的方法

• TTPLA数据集从不同地理区域的真实航拍调查中收集，涵盖多样的视角角度与光照条件，以确保场景与目标的多样性。
• 开发了一套新型标注流程，以COCO格式生成像素级实例分割掩码，支持细粒度的实例级识别。
• 对图像中的输电塔与电力线路同时标注边界框与分割掩码，特别关注长而细的电力线路及结构复杂的塔体。
• 采用Yolact实例分割模型，结合ResNet-50与ResNet-101主干网络，在多种输入分辨率（640×360、550×550、700×700）下建立基线。
• 评估框架包含标准指标，如边界框与掩码的平均精度（AP），并分析了在密集场景中非极大值抑制（NMS）策略的挑战。
• 该数据集已公开发布于GitHub，以支持未来在航拍场景理解与自主无人机巡检方面的研究。

实验结果

研究问题

• RQ1 最先进实例分割模型在输电塔与电力线路的航拍图像上，面对极端尺度与形状变化时，其性能泛化能力如何？
• RQ2 现有实例分割模型在真实航拍图像中处理长而细、重叠的电力线路时，其困难程度如何？
• RQ3 在高目标重叠的密集场景中，非极大值抑制（NMS）策略的表现如何？阈值选择存在哪些权衡？
• RQ4 由于背景相似性、目标稀疏性以及结构复杂性，检测与分割输电塔与电力线路面临哪些关键挑战？
• RQ5 一个包含像素级实例标注的公开数据集，能否显著推动电力线路巡检与无人机自主性研究的发展？

主要发现

• 表现最佳的Yolact模型在TTPLA数据集上实现了22.96%的边界框检测平均精度（AP）与15.72%的掩码分割AP，表明仍有巨大提升空间。
• 超过48%的电力线路预测边界框在30%交并比（IoU）阈值下与真实标注实例重叠，凸显了处理目标密集与重叠的严重挑战。
• 电力线路在30% IoU下的重叠率高达48.9%，表明标准NMS策略不足：较低阈值会增加误报，较高阈值则导致漏检。
• 电力线路的平均掩码AP显著低于输电塔，主要因其细长形状与极低像素宽度（1–3像素），导致准确掩码预测困难。
• 数据集显示，目标尺寸与形状变化，尤其是输电塔的多样性，直接影响检测精度，小型或稀疏结构常被遗漏。
• 分析证实，现有模型在真实标注附近区域易产生误报，尤其在与电力线路外观相似的区域（如车道线、人行道），主要因缺乏显著视觉特征。