[論文レビュー] TabText: Language-Based Representations of Tabular Health Data for Predictive Modelling

Kimberly Villalobos Carballo, Liangyuan Na+5 more|arXiv (Cornell University)|Jun 21, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

TabTextは、微調整された臨床用言語モデルを用いて、表形式の健康データを自然言語の記述に変換する新しいフレームワークを導入する。この手法により、膨大な前処理を要せず、文脈的な特徴表現が可能となる。9つの医療予測タスクにおいて最先端の性能を達成し、標準的な表形式モデルに補足することで、平均AUCおよび最悪ケースAUCを最大6%向上させた。

ABSTRACT

Tabular medical records remain the most readily available data format for applying machine learning in healthcare. However, traditional data preprocessing ignores valuable contextual information in tables and requires substantial manual cleaning and harmonisation, creating a bottleneck for model development. We introduce TabText, a preprocessing and feature extraction method that leverages contextual information and streamlines the curation of tabular medical data. This method converts tables into contextual language and applies pretrained large language models (LLMs) to generate task-independent numerical representations. These fixed embeddings are then used as input for various predictive tasks. TabText was evaluated on nine inpatient flow prediction tasks (e.g., ICU admission, discharge, mortality) using electronic medical records across six hospitals from a US health system, and on nine publicly available datasets from the UCI Machine Learning Repository, covering tasks such as cancer diagnosis, recurrence, and survival. TabText models trained on unprocessed data from a single hospital (572,964 patient-days, Jan 2018-Dec 2020) achieved accurate performance (AUC 0.75-0.94) when tested prospectively on 265,917 patient-days from Jan 2021-Apr 2022, and generalised well to five additional hospitals not used for training. When augmenting preprocessed tabular records with these contextual embeddings, out-of-sample AUC improved by up to 4 additive percentage points in challenging tasks such as ICU transfer and breast cancer recurrence, while providing little to no benefit for already high-performing tasks. Findings were consistent across both private and public datasets.

研究の動機と目的

• 従来の表形式データ処理手法が、列見出しや表の説明といった文脈的メタデータを無視するという限界を是正すること。
• 大規模言語モデル（LLM）を活用して表形式構造からの意味的意味を抽出することで、手作業による前処理の負荷を低減すること。
• 表形式データの言語ベース表現が、医療予測タスクにおける機械学習性能を向上させることを評価すること。
• 欠損値の取り扱いや数値正規化を含む、表形式データ表現の最適な言語構築戦略を調査すること。
• 微調整された臨床用LLMが、標準的な前処理手法よりも優れた特徴埋め込みを生成することを実証すること。

提案手法

• 各表形式データサンプルを、列名、値、および文脈的メタデータ（例：表の説明、予測タスク）を組み合わせた自然言語文に変換する。
• 平均および標準偏差に基づくzスコアの閾値に従い、数値を「正常」「高値」などの記述的用語に置き換える。
• 欠損値の場合は文を省略し、予測タスクや表の目的といったメタデータを含めて文脈を豊かにする。
• マスク言語モデルを用いて、構築した言語データ上でClinical-Longformer LLMを微調整し、臨床用表形式データに適応させる。
• 微調整済みLLMから768次元の文脈的埋め込みを抽出し、勾配ブースティング木モデルの入力特徴として使用する。
• 10回の訓練・検証分割において、同一のモデルアーキテクチャおよびハイパーパramータ設定を用いて、TabText埋め込みと標準的な表形式前処理を比較する。

実験結果

リサーチクエスチョン

• RQ1 表形式の健康データを自然言語に変換することで、標準的な前処理と比較して下流の機械学習性能が向上するか？
• RQ2 欠損値の処理、数値エンコーディング、メタデータの含め方を含め、表形式データからの言語表現を構築する最適な方法は何か？
• RQ3 事前学習済み臨床用LLMを表形式データで微調整することで、ゼロショットまたはフェイワントショットの使用と比較して、より優れた特徴表現が得られるか？
• RQ4 TabTextは、多様な医療予測タスクにおいて平均的および最悪ケースの性能をどの程度向上させるか？
• RQ5 表の説明や予測目的といった文脈的メタデータの含め方が、モデル性能にどのように影響するか？

主な発見

• TabTextは、最小限のデータ前処理で高性能なシンプルな機械学習ベースラインを実現し、言語ベースの表現が複雑な特徴工学の代替となり得ることを示した。
• 標準的な表形式データにTabText埋め込みを追加することで、9つの医療予測タスクにおいて平均AUCおよび最悪ケースAUCを最大6%向上させた。
• 最適な言語構築戦略には、数値を記述的用語に置き換えること、欠損値のエントリを省略すること、記述的言語を用いること、およびタスク固有または表レベルのメタデータを含めることを含む。
• Local表形式データ上でClinical-Longformerモデルを微調整したことで、9つの分類タスクのうち8つでわずかに性能向上が確認され、ドメイン特化適応の利点を裏付けた。
• このフレームワークは、すべての9つのタスクにおいて標準的な表形式モデリング手法を常に上回り、特にリソースが限られたまたは困難な状況でもAUCで統計的に有意な向上を示した。
• この手法は頑健で柔軟性に富み、元の表形式データ構造やデータソースの多様性に関係なく、一貫した性能向上を実現できる。