[論文レビュー] Embedding Complexity In the Data Representation Instead of In the Model: A Case Study Using Heterogeneous Medical Data

Jacek M. Bajor, Diego Mesa+2 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning in Healthcare参考文献 32被引用数 8

ひとこと要約

本論文では、複雑な臨床データの依存関係をデータ表現そのものに直接埋め込むことで、膨大な前処理を回避し、下流の予測にシンプルで高速な線形モデルを可能にする、フルレコード意味的埋め込みの使用を提案する。この手法は、3つの臨床タスクで競争力ある性能を発揮するとともに、患者の類似性や疾患の進行経路を保持しており、データに複雑性を埋め込むことで、専門家による前処理や複雑なモデルへの依存を低減できることを示している。

ABSTRACT

Electronic Health Records have become popular sources of data for secondary research, but their use is hampered by the amount of effort it takes to overcome the sparsity, irregularity, and noise that they contain. Modern learning architectures can remove the need for expert-driven feature engineering, but not the need for expert-driven preprocessing to abstract away the inherent messiness of clinical data. This preprocessing effort is often the dominant component of a typical clinical prediction project. In this work we propose using semantic embedding methods to directly couple the raw, messy clinical data to downstream learning architectures with truly minimal preprocessing. We examine this step from the perspective of capturing and encoding complex data dependencies in the data representation instead of in the model, which has the nice benefit of allowing downstream processing to be done with fast, lightweight, and simple models accessible to researchers without machine learning expertise. We demonstrate with three typical clinical prediction tasks that the highly compressed, embedded data representations capture a large amount of useful complexity, although in some cases the compression is not completely lossless.

研究の動機と目的

• 臨床予測における専門家による前処理の必要性を減らすために、複雑なデータ依存関係をデータ表現そのものに直接埋め込むこと。
• モデルの複雑性をデータ表現に移譲することで、シンプルで高速かつ解釈可能なモデル（例：線形分類器）の使用を可能にすること。
• 高圧縮で埋め込まれた表現が、患者の類似性や疾患の進行経路といった臨床的に意味のあるパターンを保持できるかどうかを評価すること。
• 非教師ありでレコード単位の意味的埋め込みを、多様な臨床予測タスクに汎用的かつ再利用可能な表現として使用可能かどうかを実証すること。
• 機械学習の専門知識のない研究者にとっても、EHRベースの研究に参入しやすいスケーラブルで低障壁の入り口を提供すること。

提案手法

• 本手法は、Word2Vecにインspiredされたスキップグラム型の意味的埋め込みを用い、臨床コードやイベントに基づいて、患者全件の密なベクトル表現を学習する。
• 各患者の縦断的かつ多様なEHRデータは、診断、薬剤、検査結果などの臨床イベントのシーケンスとして扱われ、固定サイズのベクトル空間に埋め込まれる。
• 埋め込みモデルは、大規模なEHRデータコーパス上で非教師ありに訓練され、患者の全体的な記録表現に基づいて、シーケンス内の近接するイベントを予測するように学習する。
• 得られた埋め込みベクトルは、下流の予測タスクの入力特徴として使用され、生のデータや前処理済みデータに代わる。
• 埋め込み表現上で、シンプルな線形モデル（ロジスティック回帰）とより複雑なモデル（XGBoost）を訓練し、性能を比較する。
• 次元削減（PCA）を用いて埋め込みベクトル上で患者の類似性や疾患の進行経路を可視化し、意味的構造の保持を評価する。

実験結果

リサーチクエスチョン

• RQ1 フルEHR記録の単一で汎用的かつ非教師ありの埋め込みが、膨大な前処理を伴わずに、正確な臨床予測を可能にする十分な複雑性を捉えられるか？
• RQ2 埋め込み表現を用いることで、複雑なアーキテクチャに代わって、シンプルで軽量なモデル（例：線形分類器）の有効な使用が可能になるか？
• RQ3 埋め込み表現が、患者の類似性や疾患の進行経路といった臨床的に意味のあるパターンをどの程度保持しているか？
• RQ4 埋め込み表現上で訓練されたモデルの性能は、従来の専門家による前処理済み特徴上で訓練されたモデルと比べてどうか？
• RQ5 このアプローチは、EHR研究における初期の概念実証研究のためのスケーラブルで低コストの代替手段として機能できるか？

主な発見

• 埋め込み表現は、乳がん、糖尿病治療、肺がん予測の3つの臨床予測タスクにおいて、従来の前処理手法と同等の性能を達成した。
• 埋め込みベクトル上で訓練された線形モデルは、生データや前処理済みデータ上で訓練されたモデルと比較して、特にXGBoostのようなより複雑なモデルにおいて、適合性（calibration）性能が同等またはわずかに優れていた。
• 埋め込みベクトルは患者の類似性を保持しており、陽性例（疾患発症）が埋め込み空間内で密にクラスタリングされており、意味的な構造が明確に現れていた。
• 埋め込み空間における患者の経路は、疾患の進行を明確に示しており、陰性状態から陽性状態への移行が、濃い紫からイエローへの色の変化として明確に可視化された。
• この手法により、非専門家でも利用可能な高速で解釈可能なモデルが実現され、EHRベースの研究への参入障壁が低下した。
• このアプローチは、非教師ありで汎用的な性質を有するため、18,000種類のICD-9疾患の予測など、大規模応用の可能性を示した。