[論文レビュー] Multi-task Learning via Adaptation to Similar Tasks for Mortality Prediction of Diverse Rare Diseases

Luchen Liu, Zequn Liu+5 more|PubMed|Apr 11, 2020

Machine Learning in Healthcare参考文献 30被引用数 10

ひとこと要約

本稿では、モデル空間における動的タスク類似度測定を用いることで、多様な希少疾患における死亡予測のための共有パラメータ初期化の高速適応を可能にする、新しいマルチタスク学習手法Ada-SiTを提案する。メタ学習中にタスク間の類似度を活用することで、データが少ない希少疾患の予測性能が著しく向上し、実際のEHRデータセットにおいて、グローバルな単一タスクモデルや従来のマルチタスク学習ベースラインを上回る性能を発揮する。

ABSTRACT

The mortality prediction of diverse rare diseases using electronic health record (EHR) data is a crucial task for intelligent healthcare. However, data insufficiency and the clinical diversity of rare diseases make it hard for deep learning models to be trained. Mortality prediction for these patients with different diseases can be viewed as a multi-task learning problem with insufficient data but a large number of tasks. On the other hand, insufficient training data makes it difficult to train task-specific modules in multi-task learning models. To address the challenges of data insufficiency and task diversity, we propose an initialization-sharing multi-task learning method (Ada-SiT). Ada-Sit can learn the parameter initialization and dynamically measure the tasks' similarities, used for fast adaptation. We use Ada-SiT to train long short-term memory networks (LSTM) based prediction models on longitudinal EHR data. The experimental results demonstrate that the proposed model is effective for mortality prediction of diverse rare diseases.

研究の動機と目的

• 希少疾患の死亡予測において、EHRデータを用いてデータ不足と臨床的多様性の問題に対処すること。
• 各疾患の訓練データが少ないため、従来のマルチタスク学習モデルがタスク固有モジュールを効果的に学習できないという限界を克服すること。
• 初期化共有に動的タスク類似度を組み込むことで、メタラーニングにおける高速適応を向上させること。
• モデルに依存しない手法を構築し、多様でリソースが限られた希少疾患タスク間での一般化性能を向上させること。

提案手法

• Ada-SiTはメタラーニングフレームワークを用い、LSTMネットワークの共有初期化を学習することで、新しいタスクへの高速適応を可能にする。
• 静的臨床特徴に依存するのではなく、タスク固有のモデルパラメータ間のコサイン類似度を用いて、モデル空間における動的タスク類似度測定を導入する。
• 類似したタスクは、モデル空間における学習済み距離閾値内に位置する近隣として特定され、各タスク $\text{task}_i$ に対して近隣集合 $N_{\text{cos}}(\text{task}_i)$ が形成される。
• モデルは二段階のプロセスで訓練される：まずメタトレーニングにより初期化を学習し、類似タスクへの適応を実施；次に個々のタスクでのファインチューニングを実施。
• この手法はモデルに依存せず、LSTM や TCN などの任意のディープラーニングアーキテクチャと組み合わせて、EHRベースの予測に利用可能である。
• タスク類似度は、訓練済みモデルの $L_2$-正規化されたパラメータベクトルを用いて計算され、臨床的に類似した疾患間での共有表現を捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 モデル空間における動的タスク類似度は、希少疾患の死亡予測におけるマルチタスク学習の高速適応を向上させるか？
• RQ2 個々のタスクに非常に限られた訓練データがある状況で、類似タスクからの学習が性能に与える影響は何か？
• RQ3 メタラーニングにおいて、モデル空間のタスク類似度は、静的臨床特徴（例：死亡率）に比べて優れているか？
• RQ4 Ada-SiTは、低データ量の希少疾患タスクにおいて、グローバル単一タスクモデルや標準的なマルチタスク学習ベースラインをどの程度上回るか？

主な発見

• MiniMIMICデータセットにおいて、Ada-SiTはLSTMに比べAUCを6.9%、APを19.1%向上させ、低データ量希少疾患予測において優れた性能を示した。
• MiniMIMICデータセットにおいて、Ada-SiTは強力なマルチタスクベースラインであるMulti-SAnDに比べ、AUCを8.6%、APを65.0%向上させ、情報共有の向上を示した。
• 類似度にk近傍法（KNN）を用いるAda-SiT (KNN) は、完全なAda-SiTモデルに比べ性能が劣っており、距離に基づく近隣選択の方がk-NNよりも効果的であることを示している。
• アブレーションスタディにより、モデル空間におけるタスク類似度測定は、静的特徴ベースの類似度（例：死亡率）に比べ、AUCを3.0%、APを9.7%向上させた。
• t-SNE可視化では、モデル空間におけるタスククラスタが死亡率と強く相関しており、低死亡率疾患と高死亡率疾患が明確に分離していることが確認され、類似度測定の臨床的妥当性が裏付けられた。
• Ada-SiT（MAML -）に比べ、AUCで1.5%、APで6.0%の向上を示し、タスク類似度の組み込みが標準メタラーニングを上回る適応性能をもたらすことを示した。