[論文レビュー] Mixed Pooling Multi-View Attention Autoencoder for Representation Learning in Healthcare

Shaika Chowdhury, Chenwei Zhang+2 more|arXiv (Cornell University)|Oct 14, 2019

Machine Learning in Healthcare参考文献 23被引用数 8

ひとこと要約

本稿では、混合プーリングとマルチビュー注意機構を組み合わせた教師なし深層学習モデルである Mixed Pooling Multi-View Attention Autoencoder (MPVAA) を提案する。MPVAA は、モダリティ固有の埋め込みにグラフオートエンコーダーを、特徴抽出に混合プーリングを、クロスモダリティ統合にマルチビュー注意機構を用いることで、異種の電子的健康記録（EHR）データから個人に特化した患者表現を学習する。MPVAA は心不全予測および逐次的疾患予測タスクにおいて最先端手法を上回り、多様な臨床データ型の注意駆動型統合による優れた表現学習を示している。

ABSTRACT

Distributed representations have been used to support downstream tasks in healthcare recently. Healthcare data (e.g., electronic health records) contain multiple modalities of data from heterogeneous sources that can provide complementary information, alongside an added dimension to learning personalized patient representations. To this end, in this paper we propose a novel unsupervised encoder-decoder model, namely Mixed Pooling Multi-View Attention Autoencoder (MPVAA), that generates patient representations encapsulating a holistic view of their medical profile. Specifically, by first learning personalized graph embeddings pertaining to each patient's heterogeneous healthcare data, it then integrates the non-linear relationships among them into a unified representation through multi-view attention mechanism. Additionally, a mixed pooling strategy is incorporated in the encoding step to learn diverse information specific to each data modality. Experiments conducted for multiple tasks demonstrate the effectiveness of the proposed model over the state-of-the-art representation learning methods in healthcare.

研究の動機と目的

• 異種の EHR データ（年齢・性別、検査結果、臨床ノートなど）から包括的で個人に特化した患者表現を学ぶ課題に対処すること。
• EHR の複数のデータタイプ間で補完的な情報を統合することで、単一モダリティの表現学習の限界を克服すること。
• 高価なラベル付きデータに依存するのを減らしつつ、下流の予測性能を向上させる教師なしフレームワークの開発。
• エンコーディングプロセスに注意メカニズムと確率的混合プーリングを統合することで、モデルの解釈性とロバスト性を向上させること。

提案手法

• 各モダリティ（年齢・性別、検査結果、臨床ノート）に対して患者固有のインナービュー・グラフを構築し、グラフオートエンコーダーを用いて局所的でモダリティ固有の埋め込みを学習する。
• 訪問履歴の系列に多層のトランスフォーマー・エンコーダーを適用し、患者の医療履歴における時系列的および意味的依存関係をモデル化する。
• 潜在表現に一般的で顕著な特徴を両立させるために、確率的に平均プーリングと最大プーリングを組み合わせた確率的混合プーリング戦略を採用する。
• 異なるビュー間のクロスモダリティ相互作用をモデル化することで、入力系列の再構成を実現するため、デコーダーでマルチビュー注意機構を実装する。
• RNN を使用せず、完全に注意メカニズムに依存する自己注意ベースのオートエンコーダー・アーキテクチャを採用し、系列モデリングに注意機構のみを用いる。
• 系列順序を維持するための位置埋め込みを統合するが、アブレーション実験により、医療コードの本質的な順序の無関係性ゆえに、その影響は最小限であることが示された。

実験結果

リサーチクエスチョン

• RQ1 複数のモダリティからの異種 EHR データを統合することで、教師なしモデルが包括的な患者表現を効果的に学習できるか？
• RQ2 混合プーリングは、多モダリティ EHR 入力からの多様でロバストな特徴を捉える点で、決定論的プーリング戦略に比べて優れているか？
• RQ3 臨床データにおけるクロスモダリティ依存関係をモデル化することで、マルチビュー注意機構が表現品質をどの程度向上させるか？
• RQ4 提案された MPVAA モデルは、既存の最先端手法と比較して、下流の医療予測タスクに一般化性を示すか？

主な発見

• MPVAA は、心不全予測および逐次的疾患予測タスクの両方において、LSTM-AE や M2V、GRAM などの最先端モデルを顕著に上回った。
• アブレーションスタディにより、混合プーリングが性能向上に大きく寄与していることが確認され、平均と最大プーリングを確率的に組み合わせた戦略が、決定論的代替手法を上回った。
• マルチビュー注意機構を除外した場合（VAA や MMAA の変種と同様）、性能低下が最も顕著であり、クロスモダリティ相互作用のモデル化の重要性が示された。
• MPVAA は、心不全予測においてすべてのベースラインより高い AUC-ROC および AUC-PR スコアを達成し、逐次的疾患予測では NDCG@k スコアも優れていた。
• 位置埋め込みがなくてもモデルの性能はロバストに保たれ、注意メカニズムが系列順序に依存せず関連するパターンを効果的に捉えていることが示された。
• モダリティ固有の埋め込みにグラフオートエンコーダーを用いることで、標準的なベクトル表現と比較して、より良いパーソナライズ化と豊かな特徴学習が可能になった。