[論文レビュー] Transferring Knowledge from Text to Predict Disease Onset

Yun Liu, Kun-Ta Chuang+4 more|arXiv (Cornell University)|Aug 6, 2016

Topic Modeling被引用数 5

ひとこと要約

本論文は、生物医学テキストコーパスから知識を転送することで特徴量の重要度を推定し、低データ設定における疾患発症予測を向上させる新しい手法を提案する。ドメイン固有のテキスト上でword2vec埋め込みを用いることで、より関連性の高い特徴量に正則化を弱めるようにスケーリングし、AUCを最大0.065向上させるとともに、特徴量数を60%削減する。特に陽性例が少ない場合に顕著な効果を示す。

ABSTRACT

In many domains such as medicine, training data is in short supply. In such cases, external knowledge is often helpful in building predictive models. We propose a novel method to incorporate publicly available domain expertise to build accurate models. Specifically, we use word2vec models trained on a domain-specific corpus to estimate the relevance of each feature's text description to the prediction problem. We use these relevance estimates to rescale the features, causing more important features to experience weaker regularization. We apply our method to predict the onset of five chronic diseases in the next five years in two genders and two age groups. Our rescaling approach improves the accuracy of the model, particularly when there are few positive examples. Furthermore, our method selects 60% fewer features, easing interpretation by physicians. Our method is applicable to other domains where feature and outcome descriptions are available.

研究の動機と目的

• 希少疾患や慢性疾患の予測モデリングにおいて、訓練データが限られるという課題に対処すること。
• 公開済みの生物医学テキストコーパスを活用し、各特徴量の説明が結果予測タスクにどの程度関連しているかを推定すること。
• 推定された重要度に基づいて特徴量を再スケーリングすることで、過学習を軽減し、モデルの性能と解釈可能性を向上させるとともに、特徴量数を削減すること。
• 特徴量と結果の説明が利用可能な分野に応用可能な手法の開発を目的とする。

提案手法

• ドメイン固有の生物医学コーパス上でword2vecモデルを学習し、特徴量および結果の説明を密なベクトル表現に埋め込む。
• 各特徴量の説明の埋め込みと結果の説明の埋め込みとの間のコサイン類似度を計算し、重要度を推定する。
• 推定された重要度スコアを適応的スケーリング要因として用い、特徴量行列を再スケーリングすることで、特徴量固有の正則化を効果的に適用する。
• 最終予測のためにL1正則化を施したロジスティック回帰モデルに再スケーリングされた特徴量を適用する。
• 交差検証を用いて重要度スコアのパワー平均指数をチューニングし、性能を最適化する。
• 複数の疾患予測タスク（データサイズが異なる）において、標準的なL1正則化付きロジスティック回帰と比較する。

実験結果

リサーチクエスチョン

• RQ1 公開済みの生物医学テキストコーパスからの知識は、低データ医療設定における予測性能を向上させることができるか？
• RQ2 特徴量の重要度をテキストから得た推定値を用いることで、標準的な特徴量選択や正則化と比較して、AUCと特徴量数にどのような差が生じるか？
• RQ3 25例の陽性例しか存在しないような極めて限られた訓練データにおいても、本手法は性能を維持または向上させられるか？
• RQ4 予測精度を維持または向上させつつ、本手法はどの程度特徴量次元を低減できるか？
• RQ5 本手法の性能は、性別や年齢層などの異なる患者サブグループ間でどのように変動するか？

主な発見

• 提案手法は、標準的なL1正則化付きロジスティック回帰と比較して、AUCを最大0.065向上させた。有意な改善が得られたタスク全体で平均AUCは0.697（標準手法は0.656）であった。
• 完全なデータセットでは、本手法は平均で20の特徴量を選択したが、標準的手法では50の特徴量が選択され、特徴量数が60%削減された。
• 陽性例が25例のみの状況でも、本手法の平均AUCは0.658であったのに対し、標準手法は0.606であった。極度のデータ不足下でも優れた性能を示した。
• 本手法は、低重要度の特徴量（例：診断コード373.11（外眼瞼炎））を優先的に削除した。この特徴量は標準手法で選択されたが、重要度スコアは0.57と低かった。
• データが極めて限られたタスクにおいて性能向上が顕著に現れ、訓練データが不足している状況での有効性が裏付けられた。
• 本手法は、複数の慢性疾患（例：脳卒中、糖尿病、心疾患）の予測において、性別や年齢層を含む多様なサブグループで一貫した改善を示した。