[论文解读] Fully automated analysis of muscle architecture from B-mode ultrasound images with deep learning

Neil J. Cronin, Taija Finni+1 more|arXiv (Cornell University)|Sep 10, 2020

Sports injuries and prevention被引用 9

一句话总结

本研究提出了一种完全自动化的开源深度学习框架，基于U-Net模型，用于从B模式超声图像中分析肌肉结构，能够以高精度检测肌纤维束和肌腱膜。该方法在准确度上可与人工和半自动方法相媲美，使用GPU时每幅图像的推理时间低于1秒，并支持单张图像和视频序列的处理。

ABSTRACT

B-mode ultrasound is commonly used to image musculoskeletal tissues, but one major bottleneck is data interpretation, and analyses of muscle thickness, pennation angle and fascicle length are often still performed manually. In this study we trained deep neural networks (based on U-net) to detect muscle fascicles and aponeuroses using a set of labelled musculoskeletal ultrasound images. We then compared neural network predictions on new, unseen images to those obtained via manual analysis and two existing semi/automated analysis approaches (SMA and Ultratrack). With a GPU, inference time for a single image with the new approach was around 0.7s, compared to 4.6s with a CPU. Our method detects the locations of the superficial and deep aponeuroses, as well as multiple fascicle fragments per image. For single images, the method gave similar results to those produced by a non-trainable automated method (SMA; mean difference in fascicle length: 1.1 mm) or human manual analysis (mean difference: 2.1 mm). Between-method differences in pennation angle were within 1$^\\circ$, and mean differences in muscle thickness were less than 0.2 mm. Similarly, for videos, there was strong overlap between the results produced with Ultratrack and our method, with a mean ICC of 0.73, despite the fact that the analysed trials included hundreds of frames. Our method is fully automated and open source, and can estimate fascicle length, pennation angle and muscle thickness from single images or videos, as well as from multiple superficial muscles. We also provide all necessary code and training data for custom model development.

研究动机与目标

• 解决由于肌肉纤维束、肌腱膜及相关参数的人工分割耗时过长而导致的肌肉骨骼超声分析瓶颈。
• 克服现有半自动工具的局限性，如需要用户输入、依赖固定预处理滤波器或非开源。
• 开发一种鲁棒的全自动深度学习解决方案，能够在不同设备、肌肉和人群的多样化超声图像上实现良好泛化。
• 实现从单张图像和视频序列中对肌纤维长度、肌纤维角和肌肉厚度进行准确、可重复且可扩展的计算。

提出的方法

• 训练了两个基于U-Net的卷积神经网络：一个用于检测浅层和深层肌腱膜，另一个用于识别B模式超声图像中的肌纤维束片段。
• 采用监督学习方法，使用像素级分割标签，在570张图像的肌腱膜检测数据集和310张图像的肌纤维束检测数据集上进行训练。
• 在训练过程中应用广泛的图像增强技术，以提高模型的鲁棒性和泛化能力，尤其针对标注数据相对较少的情况。
• 对单张图像和视频帧独立进行推理，不引入时间依赖性，从而实现快速处理，并可在每帧中检测多个肌纤维束。
• 使用Python实现该方法，提供完整的源代码和预训练模型，包括一个支持免费GPU访问的Google Colab版本，供社区使用。
• 通过几何和图像分析技术，直接从预测的分割掩码中计算肌肉结构参数（肌纤维长度、肌纤维角、肌肉厚度）。

实验结果

研究问题

• RQ1 完全自动化的深度学习模型是否能在B模式超声图像中检测肌肉纤维束和肌腱膜方面达到与人工和半自动方法相当的准确度？
• RQ2 与现有工具（SMA和Ultratrack）相比，该方法在肌纤维长度、肌纤维角和肌肉厚度估计方面的性能如何？
• RQ3 该模型在来自不同设备、肌肉和受试者人群的多样化超声图像上的泛化能力如何？
• RQ4 该方法是否能可靠地处理视频序列，并在无需用户定义肌纤维束追踪的情况下，实现帧间一致的肌肉结构度量？
• RQ5 与人类专家相比，该模型在方法间差异性和可重复性方面的表现如何？

主要发现

• 与不可训练的SMA方法相比，肌纤维长度的平均差异仅为1.1毫米，与人工分析相比为2.1毫米，表明具有很高的准确性。
• 不同方法间肌纤维角的差异始终控制在1°以内，表明与既定参考方法具有高度一致性。
• 肌肉厚度估计的平均差异在各方法间均小于0.2毫米，证实了高精度。
• 对于视频序列，该方法与Ultratrack之间的组内相关系数（ICC）为0.73，表明尽管存在帧间检测差异，但结果仍具强一致性。
• 在GPU上，每幅图像的推理时间约为0.7秒，显著快于基于CPU的处理（4.6秒），支持高效的批量处理。
• 该模型可在每幅图像中检测到多个肌纤维束片段，并独立处理每一帧，即使在视觉相似的帧中也能从不同区域实现检测。