[论文解读] Automatic construction of Chinese herbal prescription from tongue image via CNNs and auxiliary latent therapy topics

Yang Hu, Guihua Wen+4 more|arXiv (Cornell University)|Jan 23, 2018

Traditional Chinese Medicine Studies参考文献 34被引用 6

一句话总结

本文提出了一种深度学习框架，利用卷积神经网络（CNN）和辅助潜在治疗主题损失，从舌像自动生成中药处方，以建模传统中医诊疗推理。该方法通过整合临床知识并处理稀疏标签分布，实现了高保真度的处方生成，在实际移动医疗应用中展现出可行性。

ABSTRACT

The tongue image provides important physical information of humans. It is of great importance for diagnoses and treatments in clinical medicine. Herbal prescriptions are simple, noninvasive and have low side effects. Thus, they are widely applied in China. Studies on the automatic construction technology of herbal prescriptions based on tongue images have great significance for deep learning to explore the relevance of tongue images for herbal prescriptions, it can be applied to healthcare services in mobile medical systems. In order to adapt to the tongue image in a variety of photographic environments and construct herbal prescriptions, a neural network framework for prescription construction is designed. It includes single/double convolution channels and fully connected layers. Furthermore, it proposes the auxiliary therapy topic loss mechanism to model the therapy of Chinese doctors and alleviate the interference of sparse output labels on the diversity of results. The experiment use the real world tongue images and the corresponding prescriptions and the results can generate prescriptions that are close to the real samples, which verifies the feasibility of the proposed method for the automatic construction of herbal prescriptions from tongue images. Also, it provides a reference for automatic herbal prescription construction from more physical information.

研究动机与目标

• 开发一种自动从舌像生成中药处方的系统，以减少对专家诊断的依赖。
• 利用深度学习解决中药处方数据集中标签分布稀疏且不平衡的挑战。
• 在神经网络训练过程中整合传统中医知识（治疗主题），以生成具有临床相关性的输出。
• 通过处理舌像在不同摄影条件下的多样性，实现在移动健康系统中的实际部署。

提出的方法

• 设计了一种双分支CNN架构，采用单通道和双通道卷积，以从舌像中提取多尺度特征。
• 使用全连接层将提取的特征映射到潜在的中药处方。
• 引入基于潜在治疗主题的辅助损失，以引导模型生成符合传统中医诊疗原则的处方。
• 治疗主题损失通过鼓励生成处方的多样性与临床一致性，缓解了标签稀疏性问题。
• 在真实世界舌像及其对应中药处方的配对数据上端到端训练该框架。
• 在真实舌像数据集及其关联处方上评估模型性能，以真实样本作为基准进行衡量。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无需人工特征工程的情况下，准确从舌像推断中药处方？
• RQ2 辅助治疗主题建模在多大程度上能提升生成处方的临床相关性与多样性？
• RQ3 所提出方法在不同摄影条件下舌像上的泛化能力如何？
• RQ4 潜在治疗主题的整合在多大程度上能减轻稀疏标签分布对处方生成的负面影响？
• RQ5 从临床准确性和相似性角度看，模型输出与真实世界中药处方的接近程度如何？

主要发现

• 所提出的模型生成的中药处方与真实临床处方高度相似，证明了其在自动化诊断中的强可行性。
• 引入辅助治疗主题损失显著提升了生成处方的多样性与临床一致性。
• 该框架在各种摄影条件下均表现出稳健性能，表明其在真实世界移动医疗应用中的实际可用性。
• 定量评估显示，该模型在处方生成准确率与标签覆盖度方面优于基线方法。
• 该方法为将自动化处方生成扩展至舌像以外的其他体征诊断指标提供了可行参考。