[논문 리뷰] A multi-stage machine learning model on diagnosis of esophageal manometry

Wenjun Kou, Dustin A. Carlson외 5명|arXiv (Cornell University)|2021. 06. 25.

Dysphagia Assessment and Management참고 문헌 18인용 수 27

한 줄 요약

이 연구는 고해상도 만능도(고해상도 만능도) 데이터에서 원시 압력 파형을 사용하여 식도 운동 장애를 자동으로 진단하는 다단계 기계학습 프레임워크를 제안한다. 이는 식도 운동 장애의 종류, 압력 증가 패턴, 통합 이완 압력(IRP)을 분류하기 위해 합성곱 신경망(CNN)을 활용하고, 이후 xgboost, 인공신경망(ANN), 규칙 기반 모델을 모델-무관한 방식으로 융합하여 연구 수준의 시카고 분류 진단을 예측한다. 이 모델은 상위 1위 정확도 81%와 상위 2위 정확도 92%를 달성한다.

ABSTRACT

High-resolution manometry (HRM) is the primary procedure used to diagnose esophageal motility disorders. Its interpretation and classification includes an initial evaluation of swallow-level outcomes and then derivation of a study-level diagnosis based on Chicago Classification (CC), using a tree-like algorithm. This diagnostic approach on motility disordered using HRM was mirrored using a multi-stage modeling framework developed using a combination of various machine learning approaches. Specifically, the framework includes deep-learning models at the swallow-level stage and feature-based machine learning models at the study-level stage. In the swallow-level stage, three models based on convolutional neural networks (CNNs) were developed to predict swallow type, swallow pressurization, and integrated relaxation pressure (IRP). At the study-level stage, model selection from families of the expert-knowledge-based rule models, xgboost models and artificial neural network(ANN) models were conducted, with the latter two model designed and augmented with motivation from the export knowledge. A simple model-agnostic strategy of model balancing motivated by Bayesian principles was utilized, which gave rise to model averaging weighted by precision scores. The averaged (blended) models and individual models were compared and evaluated, of which the best performance on test dataset is 0.81 in top-1 prediction, 0.92 in top-2 predictions. This is the first artificial-intelligence-style model to automatically predict CC diagnosis of HRM study from raw multi-swallow data. Moreover, the proposed modeling framework could be easily extended to multi-modal tasks, such as diagnosis of esophageal patients based on clinical data from both HRM and functional luminal imaging probe panometry (FLIP).

연구 동기 및 목표

• 고해상도 만능도(HRM) 데이터를 기반으로 한 자동화된 AI 기반 식도 운동 장애 진단 시스템을 개발하기 위해.
• 시카고 분류(CC) 기반으로 수동적인 HRM 해석에 내재된 인터-평가자 변동성과 해석의 주관성을 줄이기 위해.
• 식도 운동 장애의 진단 정확도 향상을 위해, 삼키기 단위 수준에서는 딥러닝, 연구 수준에서는 앙상블 기계학습을 통합하기 위해.
• 다양한 모델 유형(xgboost, ANN, 규칙 기반)을 융합하기 위한 모델-무관이고 정밀도 가중치가 부여된 블렌딩 전략을 제안하여 강건성과 성능을 향상시키기 위해.

제안 방법

• 두 단계 모델링 프레임워크: (1) 삼키기 단위 분석에서 세 개의 CNN을 사용하여 삼키기 유형(정확도: 0.88), 삼키기 압력 증가 패턴(정확도: 0.93), IRP(회귀 오차: 4.49 mmHg)를 예측한다.
• 유도된 삼키기 단위 특징을 기반으로 학습된 전문 지식 기반 규칙 모델, xgboost, 인공신경망(ANN)의 세 가지 모델 유형을 사용하여 연구 수준의 진단 예측을 수행한다.
• 베이지안 원리에 기반한 모델-무관 블렌딩 전략으로, 정밀도 점수를 가중치로 사용하여 성능을 클래스 간 균형 있게 조정한다.
• 하이퍼파rameter 튜닝과 모델 선택은 검증 세트 정확도를 기반으로 수행되었으며, 특징 증강(14개 특징)과 클래스 가중치를 사용하여 데이터 불균형 문제를 해결하였다.
• 블렌딩된 모델는 상위 1위 및 상위 2위 예측 정확도로 평가되었으며, 정밀도 점수를 가중치로 사용하여 모델 평균화를 수행하였다.
• 이 프레임워크는 고해상도 만능도와 기능성 루멘 이미징 프로브(FLIP) 데이터를 결합하는 등 다중 모odal 데이터 통합에도 확장 가능하다.

실험 결과

연구 질문

• RQ1 원시 HRM 데이터에서 수동적인 특징 추출 없이도 다단계 기계학습 모델이 식도 운동 장애를 정확하게 예측할 수 있는가?
• RQ2 정밀도 점수 기반의 모델 블렌딩 전략이 복잡한 다중 클래스 HRM 결과를 진단할 때 개별 모델보다 성능을 향상시키는가?
• RQ3 삼키기 단위 수준에서의 딥러닝 모델이 전통적인 규칙 기반 또는 통계 모델에 비해 후속 연구 수준의 진단 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 딥러닝, 트리 기반 모델(xgboost), 신경망(ANN)을 융합한 하이브리드 접근 방식이 HRM 진단에서 단일 모델 유형을 초월하여 성능을 높일 수 있는가?
• RQ5 제안된 모델-무관 블렌딩 전략이 클래스 불균형 문제를 완화하고 다양한 운동 장애 진단에 대한 일반화 능력을 향상시키는 데 효과적인가?

주요 결과

• 제안된 다단계 모델은 테스트 세트에서 시카고 분류 진단 예측에 대해 상위 1위 정확도 81%와 상위 2위 정확도 92%를 달성하였다.
• 삼키기 단위 CNN은 삼키기 유형 분류에 대해 88%의 정확도, 압력 증가 패턴 인식에 대해 93%의 정확도를 기록했으며, IRP 회귀 오차는 4.49 mmHg였다.
• 최적의 xgboost 모델(xgb-5)은 최대 깊이 5, 규칙 기반 기초 학습기, 14개의 증강된 특징을 사용하여 검증 정확도 79%를 달성하였다.
• 최적의 ANN 모델(ANN-1)은 6층, 너비 요인 1, 14개의 입력 특징을 사용하여 검증 정확도 77%를 달성하였다.
• 정밀도 가중 평균을 사용한 모델 블렌딩 전략은 개별 모델보다 성능이 뛰어나, 제안된 전략의 효과성을 입증하였다.
• 연구는 현재 CC 분류의 한계를 드러내었으며, 특히 EGJ 외상성 저항(EGJOO)의 경우 유사한 동역학적 패턴과 데이터 불균형으로 인해 진단에 어려움이 있음을 강조하였다.