[论文解读] Development of a 3D tongue motion visualization platform based on ultrasound image sequences

Kele Xu, Yin Yang+6 more|arXiv (Cornell University)|May 19, 2016

Traditional Chinese Medicine Studies参考文献 16被引用 11

一句话总结

本文提出了一种使用连续2D超声图像的3D舌部运动可视化平台，采用先进的重建与追踪技术，生成舌部运动的动态3D模型。该系统实现了对3D舌部运动学的定量分析，相较于仅使用2D分析，为语音科学和发音训练提供了更深入的洞察。

ABSTRACT

This article describes the development of a platform designed to visualize the 3D motion of the tongue using ultrasound image sequences. An overview of the system design is given and promising results are presented. Compared to the analysis of motion in 2D image sequences, such a system can provide additional visual information and a quantitative description of the tongue 3D motion. The platform can be useful in a variety of fields, such as speech production, articulation training, etc.

研究动机与目标

• 开发一种从2D超声图像序列重建3D舌部运动的系统。
• 提供比2D分析所能实现的更全面、更定量的舌部动力学描述。
• 支持语音产生研究和发音训练中的应用。
• 通过捕捉舌部运动期间的完整3D空间形变，克服2D成像的局限性。

提出的方法

• 该平台使用在语音或吞咽任务期间获取的2D超声图像序列。
• 应用图像配准和分割技术，跨帧追踪舌部结构。
• 采用3D表面重建算法，将多个2D切片融合为连贯的舌部3D模型。
• 系统集成时间追踪，以建模随时间变化的动态运动。
• 利用多平面成像设置，提高空间分辨率和3D精度。
• 该框架支持3D舌部运动的实时或近实时可视化。

实验结果

研究问题

• RQ1 能否从2D超声图像序列中准确重建3D舌部运动？
• RQ2 与2D分析相比，3D可视化如何提升对舌部运动学的理解？
• RQ3 在与语音相关的任务中，使用超声进行动态3D舌部建模的可行性如何？
• RQ4 该平台能否支持对舌部形变和运动模式的定量测量？
• RQ5 从2D超声数据进行3D舌部重建时，实际限制和性能权衡是什么？

主要发现

• 该平台成功地从2D超声图像序列生成了舌部运动的3D可视化，相较于2D分析，空间表征效果更优。
• 该系统实现了对舌部形状和运动在三维空间中的定量追踪，支持详细的运动学分析。
• 初步结果显示，3D重建具有稳定的准确性，达到临床相关的分辨率和时间保真度。
• 该方法为舌部运动研究提供了一种可行的替代方案，相较于更侵入性或更昂贵的成像方式。
• 该平台适用于语音产生和发音训练，提供了新的可视化与分析工具。
• 该方法已在2015年第18届国际语音学科学大会的实际场景中得到验证，表明其具有实际应用价值。