[논문 리뷰] Integrated multimodal artificial intelligence framework for healthcare applications

Luis R. Soenksen, Yu Ma외 8명|arXiv (Cornell University)|2022. 02. 25.

Machine Learning in Healthcare인용 수 10

한 줄 요약

이 논문은 임상 데이터의 표준화된 통합을 통해 다중모odal AI 모델을 의료 분야에서 훈련하기 위한 통합적이고 일반화 가능한 파이프라인인 힐리스틱 AI 인 메디슨(Holistic AI in Medicine, HAIM) 프레임워크를 제안한다. 34,537건의 샘플로 구성된 다양한 임상 데이터셋에서 평가한 결과, HAIM로 훈련된 모델은 흉부 병변 진단, 입원 기간 예측, 48시간 이내 사망률 예측 등 12개의 예측 과제에서 단일 모odal 접근 방식보다 6–33% 향상된 성능을 보였으며, 샤플리 값 분석을 통해 과제에 따라 모달리티별 기여도가 이질적임을 확인하였다.

ABSTRACT

Artificial intelligence (AI) systems hold great promise to improve healthcare over the next decades. Specifically, AI systems leveraging multiple data sources and input modalities are poised to become a viable method to deliver more accurate results and deployable pipelines across a wide range of applications. In this work, we propose and evaluate a unified Holistic AI in Medicine (HAIM) framework to facilitate the generation and testing of AI systems that leverage multimodal inputs. Our approach uses generalizable data pre-processing and machine learning modeling stages that can be readily adapted for research and deployment in healthcare environments. We evaluate our HAIM framework by training and characterizing 14,324 independent models based on HAIM-MIMIC-MM, a multimodal clinical database (N=34,537 samples) containing 7,279 unique hospitalizations and 6,485 patients, spanning all possible input combinations of 4 data modalities (i.e., tabular, time-series, text, and images), 11 unique data sources and 12 predictive tasks. We show that this framework can consistently and robustly produce models that outperform similar single-source approaches across various healthcare demonstrations (by 6-33%), including 10 distinct chest pathology diagnoses, along with length-of-stay and 48-hour mortality predictions. We also quantify the contribution of each modality and data source using Shapley values, which demonstrates the heterogeneity in data modality importance and the necessity of multimodal inputs across different healthcare-relevant tasks. The generalizable properties and flexibility of our Holistic AI in Medicine (HAIM) framework could offer a promising pathway for future multimodal predictive systems in clinical and operational healthcare settings.

연구 동기 및 목표

• 다양한 임상 AI 시스템에서 다중 데이터 모달리티를 통합하기 위한 일반화 가능하고 종단 간 프레임워크를 개발하기 위해.
• 다양한 의료 응용 분야에서 다중모달 AI 모델의 스케일러블한 훈련 및 평가를 가능하게 하기 위해.
• 해석 가능한 AI 기법을 사용하여 각 데이터 모달리티와 소스가 예측 성능에 기여하는 상대적 기여도를 정량화하기 위해.
• 다양한 임상 과제에서 다중모달 접근 방식이 단일모달 접근 방식보다 일관되게 성능 향상을 보이는지 확인하기 위해.
• 임상 및 운영 의료 환경에서의 구현을 위한 배포 가능하고 유연한 파이프라인을 제공하기 위해.

제안 방법

• HAIM 프레임워크는 표준화된 데이터 전처리 및 기계학습 모델링 단계를 표본, 시간적 시리즈, 텍스트 및 의료 영상의 4가지 모달리티에 걸쳐 통합한다.
• 모든 가능한 입력 모달리티 조합을 지원하여 다중모달 대비 단일모달 학습 설정의 체계적 평가를 가능하게 한다.
• HAIM-MIMIC-MM 데이터셋이라는 다중모달 임상 데이터베이스(34,537건의 샘플, 6,485명의 환자 포함)를 기반으로 14,324개의 독립적 모델을 통합된 파이프라인을 통해 훈련한다.
• 모델 성능은 흉부 병변 진단 10종, 입원 기간 예측, 48시간 이내 사망률 예측 등 12개의 예측 과제에서 평가된다.
• 모델 성능에 대한 각 모달리티와 데이터 소스의 기여도를 정량화하기 위해 샤플리 값이 계산되며, 이는 설명 가능성 및 모달리티 중요도 분석을 가능하게 한다.
• 연구 및 실제 임상 환경에서의 구현에 적합하도록 설계되어, 다양한 의료 환경에서의 일반화 가능성을 강조한다.

실험 결과

연구 질문

• RQ1 통합적이고 일반화 가능한 프레임워크가 다수의 임상 데이터 모달리티를 효과적으로 통합하여 예측 성능을 향상시킬 수 있는가?
• RQ2 다양한 임상 과제에서 다양한 데이터 모달리티 조합이 모델 성능에 기여하는 방식은 어떠한가?
• RQ3 실제 의료 응용 분야에서 다중모달 모델이 단일모달 모델보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 다양한 임상 과제에서 어떤 데이터 모달리티와 소스가 모델 성능에 가장 크게 기여하는가?
• RQ5 샤플리 값과 같은 해석 가능한 AI 기법이 다양한 의료 예측 과제에서 모달리티의 이질적인 중요도를 신뢰성 있게 정량화할 수 있는가?

주요 결과

• HAIM 프레임워크는 12개의 임상 예측 과제에서 단일모달 모델 대비 6%에서 33%까지의 일관된 성능 향상을 달성하였다.
• 다중모달 모델은 10종의 다른 흉부 병변 진단, 입원 기간 예측, 48시간 이내 사망률 예측에서 단일모달 기반 모델보다 유의미하게 뛰어난 성능을 보였다.
• 샤플리 값 분석을 통해 이질적인 모달리티 중요도가 드러났으며, 병변 진단 과제에서는 영상 및 텍스트 모달리티가 가장 큰 기여를 하였고, 사망률 및 입원 기간 예측 과제에서는 시간적 시리즈 및 표본 데이터가 더 큰 영향을 미쳤다.
• 모델 구성 14,324개 전반에 걸쳐 프레임워크의 강건성과 다양한 입력 조합에 대한 확장성 및 일반화 능력이 입증되었다.
• 개별 데이터 소스의 기여도는 과제에 따라 달라졌으며, 최적의 성능을 위해 다중모달 통합의 필요성이 확인되었다.
• HAIM 프레임워크는 임상 및 운영 의료 환경에 적합한 배포 가능하고 해석 가능하며 민첩한 파이프라인을 제공한다.