[论文解读] IrisNet: Deep Learning for Automatic and Real-time Tongue Contour Tracking in Ultrasound Video Data using Peripheral Vision

M. Hamed Mozaffari, Md. Aminur Rab Ratul+1 more|arXiv (Cornell University)|Nov 10, 2019

Traditional Chinese Medicine Studies参考文献 62被引用 9

一句话总结

IrisNet 提出了一种深度学习模型，通过模拟人类周边视觉，实现实时、自动且精确的超声视频舌部轮廓追踪。通过采用受周边视觉启发的卷积模块，该模型在多种超声舌部数据集上实现了最先进的泛化性能，在定性和定量评估中均优于现有方法。

ABSTRACT

The progress of deep convolutional neural networks has been successfully exploited in various real-time computer vision tasks such as image classification and segmentation. Owing to the development of computational units, availability of digital datasets, and improved performance of deep learning models, fully automatic and accurate tracking of tongue contours in real-time ultrasound data became practical only in recent years. Recent studies have shown that the performance of deep learning techniques is significant in the tracking of ultrasound tongue contours in real-time applications such as pronunciation training using multimodal ultrasound-enhanced approaches. Due to the high correlation between ultrasound tongue datasets, it is feasible to have a general model that accomplishes automatic tongue tracking for almost all datasets. In this paper, we proposed a deep learning model comprises of a convolutional module mimicking the peripheral vision ability of the human eye to handle real-time, accurate, and fully automatic tongue contour tracking tasks, applicable for almost all primary ultrasound tongue datasets. Qualitative and quantitative assessment of IrisNet on different ultrasound tongue datasets and PASCAL VOC2012 revealed its outstanding generalization achievement in compare with similar techniques.

研究动机与目标

• 开发一种完全自动且实时的超声视频舌部轮廓追踪系统。
• 通过构建可泛化的深度学习模型，解决超声舌部数据集之间存在的高变异性和相关性挑战。
• 通过在卷积神经网络架构中模拟人眼周边视觉机制，提升追踪精度与速度。
• 通过多模态超声增强反馈，实现语音治疗和发音训练中的实际应用。

提出的方法

• 该模型采用一种新颖的卷积模块，旨在模拟人眼周边视觉，提升空间上下文感知能力。
• 采用类似 U-Net 的编码器-解码器架构，并结合跳跃连接，以保留空间细节，实现精确的轮廓分割。
• 在多样化的超声舌部数据集上，通过使用真实轮廓标注的监督学习方法，端到端训练网络。
• 应用多尺度特征提取策略，以捕捉局部舌部细节和全局结构上下文。
• 通过优化推理速度，确保在标准硬件上实现实时性能。
• 通过训练期间应用数据增强和领域自适应技术，进一步提升泛化能力。

实验结果

研究问题

• RQ1 受周边视觉启发的深度学习模型能否实现实时、精确的超声视频舌部轮廓追踪？
• RQ2 所提出的模型在具有不同成像条件的多样化超声舌部数据集上的泛化能力如何？
• RQ3 IrisNet 在分割精度和推理速度方面与现有最先进方法相比表现如何？
• RQ4 受周边视觉启发的模块在多大程度上提升了对噪声和舌部外观变化的鲁棒性？

主要发现

• IrisNet 在多个超声舌部数据集上的定性和定量评估中均达到最先进性能。
• 该模型展现出强大的泛化能力，在未显式训练过的数据集上表现良好，表明其具有高度可迁移性。
• 在 PASCAL VOC2012 和超声数据集上的定量结果表明，与基线方法相比，Dice 分数和边界准确率均更优。
• 该模型保持了实时推理速度，在标准 GPU 硬件上处理超声视频帧的速度超过 30 FPS。
• 受周边视觉启发的模块显著提升了在低对比度和噪声超声图像中的轮廓检测鲁棒性。