[论文解读] In-Field 3D Wheat Head Instance Segmentation From TLS Point Clouds Using Deep Learning Without Manual Labels

Tomislav Medić, Liangliang Nan|arXiv (Cornell University)|Mar 15, 2026

Smart Agriculture and AI被引用 0

一句话总结

一个两阶段管线使用零-shot 的二维基础模型来从 TLS 点云中提出3D小麦穗实例，然后用伪标签训练一个3D全景风格网络，在无需人工注释的情况下实现具有竞争力的3D小麦穗分割。

ABSTRACT

3D instance segmentation for laser scanning (LiDAR) point clouds remains a challenge in many remote sensing-related domains. Successful solutions typically rely on supervised deep learning and manual annotations, and consequently focus on objects that can be well delineated through visual inspection and manual labeling of point clouds. However, for tasks with more complex and cluttered scenes, such as in-field plant phenotyping in agriculture, such approaches are often infeasible. In this study, we tackle the task of in-field wheat head instance segmentation directly from terrestrial laser scanning (TLS) point clouds. To address the problem and circumvent the need for manual annotations, we propose a novel two-stage pipeline. To obtain the initial 3D instance proposals, the first stage uses 3D-to-2D multi-view projections, the Grounded SAM pipeline for zero-shot 2D object-centric segmentation, and multi-view label fusion. The second stage uses these initial proposals as noisy pseudo-labels to train a supervised 3D panoptic-style segmentation neural network. Our results demonstrate the feasibility of the proposed approach and show performance improvementsrelative to Wheat3DGS, a recent alternative solution for in-field wheat head instance segmentation without manual 3D annotations based on multi-view RGB images and 3D Gaussian Splatting, showcasing TLS as a competitive sensing alternative. Moreover, the results show that both stages of the proposed pipeline can deliver usable 3D instance segmentation without manual annotations, indicating promising, low-effort transferability to other comparable TLS-based point cloud segmentation tasks.

研究动机与目标

• 解决在 TLS 点云中对复杂田间小麦穗进行3D实例分割时缺乏人工3D注释的挑战。
• 通过多视投影将二维基础模型用于生成初始3D proposal（阶段I），并通过在伪标签上训练的3D全景风格网络进行精细化（阶段II）。
• 将基于TLS的分割与 Wheat3DGS 进行对比，并评估零-shot 迁移到 TLS 数据的可行性。
• 证明两阶段学习能够在杂乱的冠层场景中获得可用的3D实例分割。

提出的方法

• 阶段I：将每次扫描的 TLS 点云通过多视投影转换为2D距离及强度图像；对 Grounded-SAM 使用文本提示语生成2D实例掩码；将掩码投影回3D；通过基于图的聚类（kNN + IoU 剪枝，三角形权重）以及高度连通子图融合 proposal，生成3D实例proposal。
• 阶段II：在阶段I输出的伪标签上训练一个3D全景风格网络，骨干使用 Minkowski-Engine，包含语义、实例聚类和判别嵌入头；将阶段I的标签转移到合并的查询点云并在训练前进行标签细化；将球面级别的预测合并为单一场景结果。
• 阶段之间的接口：构造合并点云 Pt 和查询点云 Pq；通过最近邻插值在距离 dp 内将阶段-I 标签转移到 Pt；用加权投票和实例级投票进行标签细化，形成 Ptq 以用于训练和评估。
• 评估使用稀疏的真实标注（每个小麦穗一个3D点），因遮挡影响；评估指标包括 TP/FP/FN、精度、召回、F1、计数误差（CE）及相对计数误差（RCE）。
• 管线遵循大规模 LiDAR 数据的全景分割的前沿方法，适配 TLS 数据并利用零-shot 的二维基础模型进行初始 proposal。

Figure 1: Flowchart of the implemented multi-view projection-based 3D instance segmentation (white: I/O, blue: data processing modules).

实验结果

研究问题

• RQ1 零-shot 的二维基础模型（Grounded SAM）是否能够从 TLS 点云中在没有手动3D注释的情况下生成可用的3D小麦穗 proposal？
• RQ2 在阶段I伪标签基础上训练的阶段II 3D全景风格网络是否能提升在杂乱田间 TLS 数据中的3D小麦穗实例分割？
• RQ3 基于TLS 的管线与 Wheat3DGS 的基线图像方法在田间小麦穗实例分割中的表现如何？
• RQ4 阶段I 与阶段II 是否互补，合并两者输出是否提升检出与计数性能？

主要发现

• 基于TLS的管线在某些指标上优于基线 Wheat3DGS 的基线，保留测试田块上 F1 分数更高。
• 阶段II 在所有报告指标上相较阶段I 有明显提升，且将阶段I 与阶段II 结合（I+II）在召回率和F1 上达到最佳表现。
• 阶段I 与阶段II 能检测到不同子集的穗，其中一些实例被一个阶段检测到而被另一阶段漏检，表明两者具有互补优势。
• 在密集簇中存在低分割（under-segmentation）的失效模式，阶段II 对分布外的穗表现欠佳，提示需要改进增强与后处理。
• 作者演示了一个可行的零-shot 3D实例分割方法用于 TLS 数据，显示其对其他基于 TLS 的分割任务的潜在迁移性。

Figure 2: Examples of intensity (top) and range (bottom) images generated by the per-scan 3D-to-2D projection module, with a few examples of 2D instance masks generated by the 2D instance segmentation module. For clarity, only a small subset of the masks is shown.