[論文レビュー] Multi-Task Learning with Incomplete Data for Healthcare

Xin Jiang, Saba Emrani+2 more|arXiv (Cornell University)|Jul 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 3

ひとこと要約

本稿では、医療応用における不完全データを扱うために、プラグイン型共分散行列推定器を組み込んだロバストなマルチタスク学習フレームワークを提案する。従来の補完手法によるバイアスを回避する。統合された最適化においてLASSOとグラフ正則化を統合することで、特に高い欠損率下でもモデル推定と予測精度が向上することを示した。アリツハイマー病の進行データを用いた実験で検証された。

ABSTRACT

Multi-task learning is a type of transfer learning that trains multiple tasks simultaneously and leverages the shared information between related tasks to improve the generalization performance. However, missing features in the input matrix is a much more difficult problem which needs to be carefully addressed. Removing records with missing values can significantly reduce the sample size, which is impractical for datasets with large percentage of missing values. Popular imputation methods often distort the covariance structure of the data, which causes inaccurate inference. In this paper we propose using plug-in covariance matrix estimators to tackle the challenge of missing features. Specifically, we analyze the plug-in estimators under the framework of robust multi-task learning with LASSO and graph regularization, which captures the relatedness between tasks via graph regularization. We use the Alzheimer's disease progression dataset as an example to show how the proposed framework is effective for prediction and model estimation when missing data is present.

研究の動機と目的

• 従来の補完手法がデータの共分散を歪め、標本数を減少させるため、医療データにおける特徴量の欠損という課題に取り組む。
• 補完ステップを別途行うことで生じるバイアスを回避するため、欠損データ処理を学習プロセスに直接統合したフレームワークを開発する。
• 特に欠損率が高い状況下でも、不完全データを伴うマルチタスク設定におけるモデルの一般化性能と予測精度を向上させる。
• 高欠損率を示す実世界のアルツハイマー病の進行データを用いて、提案手法の有効性を実証する。
• LASSOとグラフ正則化フレームワーク内での共分散行列のプラグイン推定器を用いて、スケーラブルでロバストなソリューションを提供する。

提案手法

• 欠損特徴量を直接最適化プロセス内で処理するため、共分散行列のためのプラグイン推定器を用いる。補完処理を回避する。
• 学習問題を正則化最適化として定式化する：予測誤差、L1（LASSO）スパarsity、およびグラフベース正則化（W·Rのフロベニウスノルム）を最小化する。
• 行列Rによるグラフ正則化を導入し、タスク間の関係を表現する。接続されたタスクは共有パラメータを通じて情報交換を行う。
• 収束性と安定性を保証しつつ、効率的に最適化問題を解くために投影勾配降下法を適用する。
• 欠損データを考慮したプラグイン推定器を用いて自己共分散行列Γを推定し、データ構造を保持する。
• 目的関数を置き換えることで、さまざまなマルチタスク学習定式化に本フレームワークを適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 データに高い欠損率の特徴量が含まれる状況下で、プラグイン型共分散推定器はマルチタスク学習におけるモデル推定と予測精度を向上させることができるか？
• RQ2 提案されたロバストなマルチタスク学習フレームワークは、標準的な補完手法（例：平均補完、行列分解）と比較して、予測精度とモデル安定性において優れているか？
• RQ3 欠損データが存在する状況下で、プラグイン型共分散推定と組み合わせたグラフ正則化は性能向上に寄与するか？
• RQ4 欠損データ率が上昇するに従い、本フレームワークは複雑な相関構造を示す実世界の医療データセットにおいて、どのように性能を発揮するか？
• RQ5 別個のデータ補完または行列補完ステップに依存せずに、低バイアスかつ高精度を維持できるか？

主な発見

• 合成実験において、R-LGR1はすべての欠損率レベルで平均補完および行列分解（MF-LGR）を上回り、モデル推定および自己共分散推定の両方で最小のNMSEを示した。
• 40%の欠損率下で、R-LGR1はモデル推定のNMSEが0.007535に留まり、平均補完（0.007661）およびMF-LGR（0.007684）を顕著に下回った。
• アルツハイマー病データセットにおいて、R-LGR1は元のデータ（9%欠損）で予測誤差（RMSE = 7.538e-04）が最小となり、平均補完（7.596e-04）およびMF-LGR（7.670e-04）を上回った。
• 欠損率が49%に上昇した場合でも、R-LGR1は最小の誤差（7.660e-04）を維持したのに対し、平均補完およびMF-LGRは誤差が増加した。これにより、優れたロバスト性が示された。
• R-LGR1は、すべての欠損率レベルでベースライン手法を一貫して上回り、特に高い欠損率（例：39%および49%）での相対的改善が顕著であった。これにより、安定性が確認された。
• 自己共分散行列推定器Γにおける低いNMSEは、補完手法に比べてデータ構造をよりよく保持していることを示しており、正確な推論にとって極めて重要である。