[论文解读] An annotated instance segmentation XXL-CT data-set from a historic airplane

Roland Gruber, Nils Reims+6 more|arXiv (Cornell University)|Dec 16, 2022

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文提出一个公开可用的、经人工标注的实例分割数据集，涵盖一架历史性的梅塞施密特 Me 163 喷气动力战斗机的 XXL-CT 扫描中七个子体积。该数据集通过多标注员参与的交互式标注流程创建，可用于非破坏性检测与数字文化遗产领域中 3D 实例分割方法的基准测试，解决了复杂、独特工业物体缺乏大规模、高质量参考数据的问题。

ABSTRACT

The Me 163 was a Second World War fighter airplane and a result of the German air force secret developments. One of these airplanes is currently owned and displayed in the historic aircraft exhibition of the Deutsches Museum in Munich, Germany. To gain insights with respect to its history, design and state of preservation, a complete CT scan was obtained using an industrial XXL-computer tomography scanner. Using the CT data from the Me 163, all its details can visually be examined at various levels, ranging from the complete hull down to single sprockets and rivets. However, while a trained human observer can identify and interpret the volumetric data with all its parts and connections, a virtual dissection of the airplane and all its different parts would be quite desirable. Nevertheless, this means, that an instance segmentation of all components and objects of interest into disjoint entities from the CT data is necessary. As of currently, no adequate computer-assisted tools for automated or semi-automated segmentation of such XXL-airplane data are available, in a first step, an interactive data annotation and object labelling process has been established. So far, seven 512 x 512 x 512 voxel sub-volumes from the Me 163 airplane have been annotated and labelled, whose results can potentially be used for various new applications in the field of digital heritage, non-destructive testing, or machine-learning. This work describes the data acquisition process of the airplane using an industrial XXL-CT scanner, outlines the interactive segmentation and labelling scheme to annotate sub-volumes of the airplane's CT data, describes and discusses various challenges with respect to interpreting and handling the annotated and labelled data.

研究动机与目标

• 通过 XXL-CT 数据创建高质量、公开可访问的复杂、独特工业物体 3D 实例分割基准数据集。
• 解决在大型、高分辨率 CT 扫描中对历史飞机进行自动分割时缺乏充分训练与评估数据的问题。
• 支持非破坏性检测与数字文化遗产应用中深度学习和传统图像处理方法的开发与评估。
• 通过在多位标注员之间建立一致的人工标注标准，为未来分割算法提供参考基准。
• 记录并分析在高分辨率 CT 数据标注过程中遇到的挑战，包括模糊性、噪声以及结构复杂性。

提出的方法

• 在弗劳恩霍夫 IIS 的 EZRT 中心使用工业 CT 扫描仪获取 Me 163 的完整 XXL-CT 扫描数据。
• 从完整 CT 体积中选取七个 512×512×512 体素子体积，用于详细标注。
• 实施一种交互式、多标注员的标注工作流程，并采用标准化标准进行对象识别与边界定义。
• 应用后处理技术，包括带通滤波和光滑处理，随后进行人工精修以提升分割质量。
• 使用基于矩阵的度量方法比较分割结果，量化参考分割与检测分割之间的重叠、分裂与合并情况。
• 收集并整理多位标注员提供的真实标签数据，以评估标注员间的一致性并提高标注可靠性。

实验结果

研究问题

• RQ1 如何有效标注具有高分辨率、复杂结构的唯一历史飞机的 XXL-CT 数据，以实现实例分割？
• RQ2 在噪声大、对比度低的 CT 数据中，手动分割细小部件（如铆钉、链轮）的主要挑战是什么？
• RQ3 在复杂工业 CT 数据中，标注员之间的差异在多大程度上影响分割质量和一致性？
• RQ4 当出现分割裂解、合并及部分重叠时，基于矩阵的度量方法如何有效量化分割性能？
• RQ5 该人工标注数据集在非破坏性检测与数字文化遗产领域中，作为训练和评估 3D 实例分割模型的基准，其潜力如何？

主要发现

• 从 Me 163 的 XXL-CT 扫描中手动标注了七个高分辨率子体积（512×512×512 体素），形成一个新颖的基准数据集。
• 对于较大部件，标注员间的一致性为中等到较高，但像铆钉等细小特征由于图像噪声和边界模糊性，表现出显著的可变性。
• 后处理步骤（如带通滤波和光滑处理）导致了意外的体素丢失或合并，尤其影响了表面细节。
• 基于矩阵的度量方法有效捕捉了分割差异，包括分裂与合并，实现了对人工与自动分割结果的定量比较。
• 该数据集揭示了 CT 数据质量在细小特征检测方面的固有局限性，尤其对小尺寸、低对比度部件影响显著。
• 该数据集可在 [12] 处公开获取，为工业与文化遗产应用中 3D 实例分割模型的训练与评估提供了独特资源。