[論文レビュー] Representation Learning with Autoencoders for Electronic Health Records: A Comparative Study

Najibesadat Sadati, Milad Zafar Nezhad+2 more|arXiv (Cornell University)|Jan 6, 2018

Machine Learning in Healthcare参考文献 49被引用数 9

ひとこと要約

本稿では、電子的健康記録（EHR）における表現学習のための深層自己符号化器アーキテクチャ—スタックドスパース自己符号化器（SSAE）、ディープベルーフネットワーク（DBN）、対抗的自己符号化器（AAE）、変分自己符号化器（VAE）—を比較する研究を提案する。スパarsity正則化のおかげで、小規模データセットではSSAEが他の手法を上回ることを示し、データ分布を効果的にモデル化できるため、大規模データセットではVAEが顕著に臨床的アウトカム（心不全リスクやICU滞在期間）の予測精度を向上させることを明らかにした。

ABSTRACT

Increasing volume of Electronic Health Records (EHR) in recent years provides great opportunities for data scientists to collaborate on different aspects of healthcare research by applying advanced analytics to these EHR clinical data. A key requirement however is obtaining meaningful insights from high dimensional, sparse and complex clinical data. Data science approaches typically address this challenge by performing feature learning in order to build more reliable and informative feature representations from clinical data followed by supervised learning. In this paper, we propose a predictive modeling approach based on deep learning based feature representations and word embedding techniques. Our method uses different deep architectures (stacked sparse autoencoders, deep belief network, adversarial autoencoders and variational autoencoders) for feature representation in higher-level abstraction to obtain effective and robust features from EHRs, and then build prediction models on top of them. Our approach is particularly useful when the unlabeled data is abundant whereas labeled data is scarce. We investigate the performance of representation learning through a supervised learning approach. Our focus is to present a comparative study to evaluate the performance of different deep architectures through supervised learning and provide insights in the choice of deep feature representation techniques. Our experiments demonstrate that for small data sets, stacked sparse autoencoder demonstrates a superior generality performance in prediction due to sparsity regularization whereas variational autoencoders outperform the competing approaches for large data sets due to its capability of learning the representation distribution.

研究の動機と目的

• 高次元的でスパースかつ複雑なEHRデータから、強固で低次元の表現を学習するためのさまざまな深層自己符号化器アーキテクチャの有効性を評価すること。
• 自己符号化器による表現学習が、ラベル付きデータが限られた臨床データセットにおける下流の教師あり予測性能をどのように向上させるかを調査すること。
• データセットサイズ（小規模 vs. 大規模）およびデータ特性に基づいて、最適な自己符号化器アーキテクチャの選定に関する実証的指針を提供すること。
• 従来のベースラインモデル（例：APACHEスコアリングシステム）と比較して、自己符号化器による教師なし事前学習が、心不全リスクやICU滞在期間（LOS）などの臨床的アウトカムを予測する際に果たす影響を検証すること。

提案手法

• 生のEHRデータから特徴表現学習を行うために、スタックドスパース自己符号化器（SSAE）、ディープベルーフネットワーク（DBN）、対抗的自己符号化器（AAE）、変分自己符号化器（VAE）の4種類の深層自己符号化器アーキテクチャを採用した。
• 2つのデータソースからのEHRデータを前処理した：DMC（小規模データセット、約7,000レコード）とeICU（大規模データセット、約7,000〜8,000レコード）、クリーニングおよび特徴工学を経て1患者あたり150以上の特徴量が得られた。
• 一般化を向上させ、過学習を防ぐために、再構成損失（SSAEにはMAE、VAEにはMSE + KLダイバージェンス）と正則化技術を用いた。
• 学習済み表現に対して、予測性能を評価するために教師あり学習モデル（ランダムフォレスト、ラasso、SVM）を適用し、2つの臨床的タスク（LVMIに基づく心不全リスク予測とICU滞在期間（LOS）予測）を評価した。
• 100エポックにわたってモデルを訓練・検証し、収束性および一般化性能を評価するため、訓練損失と検証損失の推移をモニタリングした。特にSSAEとVAEに注目した。
• RMSEなどの回帰指標を用いて、両方のデータセットでAPACHEスコアリングシステムを含むベースラインモデルと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 高次元的でスパースなEHRデータから効果的な表現を学習するにあたり、異なる深層自己符号化器アーキテクチャ（SSAE、DBN、AAE、VAE）はどのように比較されるか？
• RQ2 生の特徴量を使用するのと比較して、自己符号化器による表現学習が、心不全リスクやICU滞在期間（LOS）などの臨床的アウトカムの予測性能を向上させるか？
• RQ3 データセットサイズ（小規模 vs. 大規模）が、通常の自己符号化器（例：SSAE、DBN）と生成的自己符号化器（例：AAE、VAE）の相対的性能にどのように影響するか？
• RQ4 正則化（例：SSAEにおけるスパarsity、VAEにおけるKLダイバージェンス）が、リソースが限られたラベル付きデータ環境におけるモデルの一般化性能および予測精度に与える影響は何か？
• RQ5 自己符号化器に基づく表現は、ICUアウトカムを予測する際、既存の臨床スコアリングシステム（例：APACHE）を上回る性能を示せるか？

主な発見

• 小規模データセット（DMC、約7,000レコード）では、スタックドスパース自己符号化器（SSAE）がランダムフォレストを用いてRMSE 0.20を達成し、他の自己符号化器および元のデータベースラインを顕著に上回った。
• 大規模データセット（Cardiac-eICU、約7,000レコード）では、変分自己符号化器（VAE）がランダムフォレストを用いてRMSE 0.14を達成し、他のすべての自己符号化器タイプおよびAPACHEモデル（RMSE = 8.04）を上回った。
• 対抗的自己符号化器（AAE）は両データセットで良好な性能を示し、RMSEが（Cardiac-eICUで）0.57、（Neuro-eICUで）0.72であったが、大規模な環境ではVAEに劣った。
• 訓練損失および検証損失の推移曲線から、SSAEおよびVAEの両方が良好な収束を示した。SSAEは小規模データセットで低い損失を示し、VAEは大規模データセットで低い損失を示した。これは、それぞれの環境下でより良い一般化性能を示していることを示している。
• APACHEスコアリングシステムは、両方のeICUデータセットで劣悪な性能を示し、RMSE値が（Cardiacで）8.04、（Neuroで）8.12であった。これは、深層表現学習が従来の臨床スコアリングシステムを顕著に上回ることを示している。
• 自己符号化器による表現学習は、すべての教師ありモデル（RF、Lasso、SVM）において一貫して予測精度を向上させた。特に、大規模データセットではVAE、小規模データセットではSSAEが最も顕著な向上を示した。