[논문 리뷰] TabText: Language-Based Representations of Tabular Health Data for Predictive Modelling

Kimberly Villalobos Carballo, Liangyuan Na외 5명|arXiv (Cornell University)|2022. 06. 21.

Machine Learning in Healthcare인용 수 6

한 줄 요약

TabText는 표 형태의 건강 데이터를 사전에 복잡한 전처리 없이 임베딩된 맥락 정보를 갖춘 자연어 설명으로 변환하는 새로운 프레임워크를 제안한다. 이는 임베딩된 맥락 정보를 갖춘 자연어 표현을 생성함으로써 표 형태의 건강 데이터를 처리하는 데 있어 기존의 전처리 과정을 최소화한다. TabText는 9개의 의료 예측 과제에서 최신 기술 수준의 성능을 달성하며, 표준 표 형태 모델을 보완함으로써 평균 및 최악의 경우 AUC를 최대 6% 향상시킨다.

ABSTRACT

Tabular medical records remain the most readily available data format for applying machine learning in healthcare. However, traditional data preprocessing ignores valuable contextual information in tables and requires substantial manual cleaning and harmonisation, creating a bottleneck for model development. We introduce TabText, a preprocessing and feature extraction method that leverages contextual information and streamlines the curation of tabular medical data. This method converts tables into contextual language and applies pretrained large language models (LLMs) to generate task-independent numerical representations. These fixed embeddings are then used as input for various predictive tasks. TabText was evaluated on nine inpatient flow prediction tasks (e.g., ICU admission, discharge, mortality) using electronic medical records across six hospitals from a US health system, and on nine publicly available datasets from the UCI Machine Learning Repository, covering tasks such as cancer diagnosis, recurrence, and survival. TabText models trained on unprocessed data from a single hospital (572,964 patient-days, Jan 2018-Dec 2020) achieved accurate performance (AUC 0.75-0.94) when tested prospectively on 265,917 patient-days from Jan 2021-Apr 2022, and generalised well to five additional hospitals not used for training. When augmenting preprocessed tabular records with these contextual embeddings, out-of-sample AUC improved by up to 4 additive percentage points in challenging tasks such as ICU transfer and breast cancer recurrence, while providing little to no benefit for already high-performing tasks. Findings were consistent across both private and public datasets.

연구 동기 및 목표

• 표 형태 데이터 처리 기법이 열 헤더 및 표 설명과 같은 맥락 메타데이터를 忽시하는 데서 비롯되는 한계를 해결하기 위해.
• 대규모 언어 모델(LLM)을 활용해 표 형태의 구조에서 의미를 추출함으로써 수작업 전처리의 부담을 줄이기 위해.
• 표 형태 데이터의 언어 기반 표현 방식이 의료 예측 과제에서 기계학습 성능 향상에 기여하는지 평가하기 위해.
• 결측치 처리 및 수치 정규화를 포함한 표 형태 데이터 표현을 위한 최적의 언어 구성 전략을 조사하기 위해.
• 표 형태 데이터에 대해 임상용 LLM을 미세조정함으로써 표준 전처리 방법보다 더 나은 특징 임베딩을 얻을 수 있음을 입증하기 위해.

제안 방법

• 각 표 형태 데이터 샘플을 열 이름, 값, 맥락 메타데이터(예: 표 설명, 예측 과제)를 조합한 자연어 문장으로 변환한다.
• 평균과 표준편차 기반의 z-점수 임계값을 활용해 수치적 값을 기술적 용어(예: '정상', '높음')로 대체한다.
• 결측치에 해당하는 문장을 생략하고, 예측 과제나 표의 목적과 같은 메타데이터를 포함시켜 맥락을 풍부하게 한다.
• 마스크된 언어 모델링을 사용하여 생성된 언어 데이터에 대해 Clinical-Longformer LLM을 미세조정함으로써 임상 표 형태 데이터에 적합하게 조정한다.
• 미세조정된 LLM에서 768차원의 맥락 기반 임베딩을 추출하고, 기울기 부스팅 트리 모델의 입력 특징으로 사용한다.
• 10개의 훈련-검증 분할에서 동일한 모델 아키텍처와 하이퍼파라미터 설정을 사용하여 TabText 임베딩과 표준 표 형태 전처리 방법을 비교한다.

실험 결과

연구 질문

• RQ1 표 형태의 건강 데이터를 자연어로 변환하는 것이 표준 전처리 방법에 비해 후행 기계학습 성능 향상에 기여하는가?
• RQ2 결측치 처리, 수치 인코딩, 메타데이터 포함 여부 등을 포함한 표 형태 데이터의 언어 표현 구성 전략 중 최적의 방법은 무엇인가?
• RQ3 사전 학습된 임상용 LLM을 표 형태 데이터에 대해 미세조정하는 것이 제로샷 또는 피처샷 방식을 사용할 때보다 더 나은 특징 표현을 제공하는가?
• RQ4 TabText는 다양한 의료 예측 과제에서 평균 및 최악의 경우 성능 향상에 어느 정도 영향을 미치는가?
• RQ5 표 설명, 예측 목표 등의 맥락 기반 메타데이터 포함 여부가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• TabText는 최소한의 데이터 전처리로도 높은 성능을 내는 단순한 기계학습 베이스라인을 가능하게 하며, 복잡한 특징 공학을 대체할 수 있는 언어 기반 표현의 잠재력을 입증한다.
• 표준 표 형태 데이터에 TabText 임베딩을 추가함으로써 9개의 의료 예측 과제에서 평균 AUC와 최악의 경우 AUC를 각각 최대 6% 향상시켰다.
• 최적의 언어 구성 전략은 수치적 값을 기술적 용어로 대체하고, 결측치 항목은 생략하며, 기술적 언어를 사용하고, 과제별 또는 표 수준의 메타데이터를 포함하는 것을 포함한다.
• Clinical-Longformer 모델을 현지 표 형태 데이터에 대해 미세조정함으로써 9개 분류 과제 중 8개에서 성능 향상을 약간 확보하였으며, 도메인 특화 적응의 유용성을 확인하였다.
• 이 프레임워크는 모든 9개 과제에서 표준 표 형태 모델링 방법을 일관되게 뛰어넘었으며, 특히 자원이 부족하거나 도전적인 경우에 AUC에서 통계적으로 유의미한 향상을 보였다.
• 이 방법은 강건하고 탄력적이며, 기초 표 형태 데이터의 구조나 출처의 이질성에 관계없이 일관된 성능 향상을 가능하게 한다.