[论文解读] A CNN-based tool for automatic tongue contour tracking in ultrasound images

Jian Zhu, Will Styler+1 more|arXiv (Cornell University)|Jul 24, 2019

Speech and Audio Processing参考文献 26被引用 12

一句话总结

本文提出了一种基于U-Net和Dense U-Net卷积神经网络的开源、全自动舌部轮廓追踪工具，用于超声图像分析。该方法在极少人工干预下实现了高精度，表明损失函数和数据增强对性能有显著影响，尽管U-Net推理速度更快，但Dense U-Net在不同数据集间展现出更优的泛化能力。

ABSTRACT

For speech research, ultrasound tongue imaging provides a non-invasive means for visualizing tongue position and movement during articulation. Extracting tongue contours from ultrasound images is a basic step in analyzing ultrasound data but this task often requires non-trivial manual annotation. This study presents an open source tool for fully automatic tracking of tongue contours in ultrasound frames using neural network based methods. We have implemented and systematically compared two convolutional neural networks, U-Net and DenseU-Net, under different conditions. Though both models can perform automatic contour tracking with comparable accuracy, Dense U-Net architecture seems more generalizable across test datasets while U-Net has faster extraction speed. Our comparison also shows that the choice of loss function and data augmentation have a greater effect on tracking performance in this task. This public available segmentation tool shows considerable promise for the automated tongue contour annotation of ultrasound images in speech research.

研究动机与目标

• 解决超声语音研究中手动舌部轮廓标注耗时过长的问题。
• 开发一种完全自动化的开源工具，用于从超声图像中分割舌部轮廓。
• 在不同条件下比较U-Net和Dense U-Net架构的性能表现。
• 评估损失函数和数据增强对分割精度的影响。
• 评估模型在不同超声设备和说话人数据集之间的泛化能力。

提出的方法

• 该方法使用U-Net和Dense U-Net架构，对超声图像中对应于舌-组织界面的最亮边缘进行分割。
• U-Net通过编码器与解码器路径之间的跳跃连接，保留空间细节。
• Dense U-Net在编码器路径中集成DenseNet模块，并采用密集跳跃连接以提升特征复用效率。
• 通过1×1卷积层配合Sigmoid激活函数生成最终的分割掩膜。
• 后处理将分割掩膜转换为平滑、连续的舌部轮廓曲线。
• 模型采用多种损失函数（包括Dice损失和复合损失）以及数据增强策略进行训练，以提升鲁棒性。

实验结果

研究问题

• RQ1 在多样化的超声数据集上，U-Net和Dense U-Net在自动舌部轮廓追踪中的表现如何？
• RQ2 不同损失函数对本任务分割精度的影响是什么？
• RQ3 数据增强如何影响模型的泛化能力和性能表现？
• RQ4 该模型能否在不同超声设备和说话人特征之间实现良好泛化？
• RQ5 在实际应用中，U-Net与Dense U-Net的推理速度如何比较？

主要发现

• 在64×64图像分辨率下，Dense U-Net在NS测试集上实现了5.03像素（标准差2.52）的最低平均距离和（MSD），优于该配置下的U-Net。
• U-Net的平均推理速度约为每秒63帧，而Dense U-Net在消费级笔记本电脑上处理速度约为每秒29帧。
• 复合损失函数在所有模型和数据集中均优于Dice损失，尤其在更具挑战性的UltraSpeech数据集上显著提升了稳定性。
• Dense U-Net展现出更优的泛化能力，在UltraSpeech数据集上MSD为5.72像素（标准差2.88），而U-Net使用复合损失时为8.25像素。
• 图像分辨率对性能的影响呈非单调性，64×64分辨率在Dense U-Net上表现最佳，表明该分辨率实现了细节与噪声之间的最优平衡。
• 该工具显著减少了人工标注的工作量，实现了仅需极少人工干预的全自动轮廓提取。