[论文解读] A multi-stage machine learning model on diagnosis of esophageal manometry

Wenjun Kou, Dustin A. Carlson+5 more|arXiv (Cornell University)|Jun 25, 2021

Dysphagia Assessment and Management参考文献 18被引用 27

一句话总结

本研究提出了一种多阶段机器学习框架，通过原始压力波形自动诊断高分辨率食管测压（HRM）数据中的食管运动障碍。该框架采用卷积神经网络（CNN）对吞咽类型、压力上升模式和整合放松压（IRP）进行分类，随后通过模型无关的融合策略结合XGBoost、人工神经网络（ANN）和基于规则的模型，实现对研究级别芝加哥分类诊断的预测，达到81%的top-1准确率和92%的top-2准确率。

ABSTRACT

High-resolution manometry (HRM) is the primary procedure used to diagnose esophageal motility disorders. Its interpretation and classification includes an initial evaluation of swallow-level outcomes and then derivation of a study-level diagnosis based on Chicago Classification (CC), using a tree-like algorithm. This diagnostic approach on motility disordered using HRM was mirrored using a multi-stage modeling framework developed using a combination of various machine learning approaches. Specifically, the framework includes deep-learning models at the swallow-level stage and feature-based machine learning models at the study-level stage. In the swallow-level stage, three models based on convolutional neural networks (CNNs) were developed to predict swallow type, swallow pressurization, and integrated relaxation pressure (IRP). At the study-level stage, model selection from families of the expert-knowledge-based rule models, xgboost models and artificial neural network(ANN) models were conducted, with the latter two model designed and augmented with motivation from the export knowledge. A simple model-agnostic strategy of model balancing motivated by Bayesian principles was utilized, which gave rise to model averaging weighted by precision scores. The averaged (blended) models and individual models were compared and evaluated, of which the best performance on test dataset is 0.81 in top-1 prediction, 0.92 in top-2 predictions. This is the first artificial-intelligence-style model to automatically predict CC diagnosis of HRM study from raw multi-swallow data. Moreover, the proposed modeling framework could be easily extended to multi-modal tasks, such as diagnosis of esophageal patients based on clinical data from both HRM and functional luminal imaging probe panometry (FLIP).

研究动机与目标

• 开发一种基于高分辨率食管测压（HRM）数据的自动化、AI驱动的食管运动障碍诊断系统。
• 减少基于芝加哥分类（CC）的人工HRM解读中固有的观察者间差异性和解释主观性。
• 在吞咽级别整合深度学习，在研究级别采用集成机器学习方法，以提高诊断准确性。
• 提出一种模型无关的、基于精度加权的融合策略，整合不同模型族（XGBoost、ANN、基于规则的模型），以增强鲁棒性和性能。

提出的方法

• 采用两阶段建模框架：(1) 在吞咽级别使用三个CNN模型，分别预测吞咽类型（准确率：0.88）、吞咽压力上升模式（准确率：0.93）和IRP（回归误差：4.49 mmHg）。
• 在研究级别使用三种模型族（基于专家知识的规则模型、XGBoost和人工神经网络（ANN））基于提取的吞咽级别特征进行诊断预测。
• 基于贝叶斯原理的模型无关融合策略，通过精度分数作为权重对模型进行加权平均，以平衡各类别的性能表现。
• 通过验证集准确率进行超参数调优和模型选择，采用特征增强（14个特征）和类别加权以缓解数据不平衡问题。
• 使用top-1和top-2预测准确率评估融合模型，精度分数用作模型平均的加权因子。
• 该框架可扩展用于多模态数据融合，例如将HRM与功能性腔内阻抗探针（FLIP）数据结合。

实验结果

研究问题

• RQ1 多阶段机器学习模型是否能够在无需人工特征提取的情况下，准确预测来自原始HRM数据的食管运动障碍诊断？
• RQ2 基于精度分数的模型融合策略在诊断复杂、多类别HRM结果时，相较于单一模型是否能提升性能？
• RQ3 与传统基于规则或统计的模型相比，吞咽级别深度学习模型在多大程度上能提升下游研究级别诊断的准确性？
• RQ4 结合深度学习、树基模型（XGBoost）和神经网络（ANN）的混合方法是否能超越任何单一模型类型在HRM诊断中的表现？
• RQ5 所提出的模型无关融合策略是否能有效缓解类别不平衡问题，并提升在多样化运动障碍诊断中的泛化能力？

主要发现

• 所提出的多阶段模型在测试集上对芝加哥分类诊断的预测实现了81%的top-1准确率和92%的top-2准确率。
• 吞咽级别CNN模型在吞咽类型分类中达到88%的准确率，在压力上升模式识别中达到93%的准确率，IRP回归误差为4.49 mmHg。
• 最优XGBoost模型（xgb-5）采用最大深度5、基于规则的基学习器和14个增强特征，验证准确率达到79%。
• 最优ANN模型（ANN-1）具有6层、宽度因子1和14个输入特征，验证准确率达到77%。
• 采用精度加权平均的模型融合策略优于单一模型，证明了所提策略的有效性。
• 本研究指出了当前CC分类的局限性，特别是对于食管下括约肌梗阻（EGJOO）的诊断，原因在于血流动力学模式重叠和数据集不平衡。