[論文レビュー] A Comprehensive Evaluation of Multi-task Learning and Multi-task Pre-training on EHR Time-series Data

Matthew B. A. McDermott, Bret Nestor+5 more|arXiv (Cornell University)|Jul 20, 2020

Machine Learning in Healthcare参考文献 58被引用数 10

ひとこと要約

この論文は、電子歴史記録（EHR）時系列データにおけるマルチタスク学習（MTL）およびマルチタスク事前学習を評価し、標準的なMTLで一般的に見られる負の転送にもかかわらず、複数のタスクで事前学習した後、単一のタスクで微調整することで、特に少データ学習において顕著な性能向上が得られることを提案している。このアプローチは、低データ医療環境におけるモデルの汎化性と頑健性を向上させる。

ABSTRACT

Multi-task learning (MTL) is a machine learning technique aiming to improve model performance by leveraging information across many tasks. It has been used extensively on various data modalities, including electronic health record (EHR) data. However, despite significant use on EHR data, there has been little systematic investigation of the utility of MTL across the diverse set of possible tasks and training schemes of interest in healthcare. In this work, we examine MTL across a battery of tasks on EHR time-series data. We find that while MTL does suffer from common negative transfer, we can realize significant gains via MTL pre-training combined with single-task fine-tuning. We demonstrate that these gains can be achieved in a task-independent manner and offer not only minor improvements under traditional learning, but also notable gains in a few-shot learning context, thereby suggesting this could be a scalable vehicle to offer improved performance in important healthcare contexts.

研究の動機と目的

• EHR時系列データにおける多様な臨床的タスクに対して、マルチタスク学習（MTL）の有効性を体系的に評価すること。
• 医療機械学習で一般的なデータ不足の問題を、MTLが軽減できるかどうかを調査すること。
• MTL事前学習が少データ学習における性能を向上させ、人口の不均衡に対する感受性を低減できるかどうかを評価すること。
• MTLが負の転送を引き起こす条件と一貫した性能向上をもたらす条件を特定すること。
• 臨床時系列モデリングにおけるMTLの適用に最適な実践法を確立すること。

提案手法

• 著者らは、N個の臨床的タスクにおいて共通のエンコーダとタスク固有のデコーダを用い、単一タスク（ST）、マルチタスク（MT）、および微調整の変種（FTD、FTF）の複数の学習レジームでモデルを訓練した。
• 2段階の訓練プロトコルを実装した：まず、ターゲットタスクを除くすべてのタスクで事前学習を行い、その後ターゲットタスクで微調整した。
• 本研究では、死亡率予測、再入院、滞在期間、ICDコード予測を含む11の多様なEHRタスクを、実世界の時系列データを用いて評価した。
• 性能は、全データおよび少データ学習設定（訓練データの割合が0.2%から56.2%まで変動）においてAUCおよびACU指標で測定した。
• 線形および自己注意機構の2つのアーキテクチャを用いて、標準的なMTL、単一タスク学習、および事前学習／微調整戦略を比較分析した。
• 負の転送は、特に類似性が低いまたはまれなタスクの組み合わせにおける性能比較を通じて評価した。

実験結果

リサーチクエスチョン

• RQ1 EHR時系列データにおける従来の臨床的タスク間で、負の転送はどの程度広範に見られるか？
• RQ2 マルチタスク学習は、多様な臨床的タスクにおいて一貫して性能を向上させることができるか？
• RQ3 マルチタスク事前学習に続く微調整は、少データ学習の場面で性能向上をもたらすか？
• RQ4 マルチタスク事前学習は、人口の不均衡に対するモデル感受性を低減できるか？

主な発見

• 標準的なマルチタスク学習では負の転送が一般的であり、従来のMTLは多様なEHRタスクにおいて性能向上を果たさないことが多かった。
• マルチタスク事前学習に続く単一タスクの微調整は、評価されたすべてのタスクで、標準的な単一タスク学習およびマルチタスク学習を常に上回る性能を示した。
• 事前学習／微調整アプローチは、少データ学習において顕著な性能向上をもたらし、10%の訓練データでは最大5.6 AUCポイント、31.6%の訓練データでは最大17.8 AUCポイントの向上が得られた。
• この方法はタスクに依存しない性能向上を達成しており、低データ医療AI環境への広範な適用可能性を示唆している。
• 少データ学習における利点は認められたが、性的・文化的背景ごとのサブグループにおける人口の不均衡に対する感受性の低減は顕著に認められなかった。
• 事前学習による利点は、線形および自己注意機構の両アーキテクチャで安定しており、このアプローチの一般化可能性を示している。