[論文レビュー] Clinical Document Classification Using Labeled and Unlabeled Data Across Hospitals

Hamed Hassanzadeh, Mahnoosh Kholghi+2 more|PubMed|Dec 3, 2018

COVID-19 diagnosis using AI参考文献 13被引用数 7

ひとこと要約

本研究は、外部病院のラベルなしレントゲン報告書および事前学習済みモデルを活用することで、最小限のラベル付きデータで臨床文書における奇形検出を向上させる半教師付き転移学習フレームワークを提案する。この手法は畳み込みニューラルネットワーク（CNN）を用いた自己学習を採用し、ラベル付きデータの70%のみを用いてRCHデータセットで97.44%のF1スコアを達成し、完全に教師ありのモデルを著しく上回り、ラベル付けの必要を50%以上削減する。

ABSTRACT

Reviewing radiology reports in emergency departments is an essential but laborious task. Timely follow-up of patients with abnormal cases in their radiology reports may dramatically affect the patient's outcome, especially if they have been discharged with a different initial diagnosis. Machine learning approaches have been devised to expedite the process and detect the cases that demand instant follow up. However, these approaches require a large amount of labeled data to train reliable predictive models. Preparing such a large dataset, which needs to be manually annotated by health professionals, is costly and time-consuming. This paper investigates a semi-supervised transfer learning framework for radiology report classification across three hospitals. The main goal is to leverage both vastly available clinical unlabeled data and already learned knowledge in order to improve a learning model where limited labeled data is available. Our experimental findings show that (1) convolutional neural networks (CNNs), while being independent of any problem-specific feature engineering, achieve significantly higher effectiveness compared to conventional supervised learning approaches, (2) leveraging unlabeled data in training a CNN-based classifier reduces the dependency on labeled data by more than 50% to reach the same performance of a fully supervised CNN, and (3) transferring the knowledge gained from available labeled data in an external source hospital significantly improves the performance of a semi-supervised CNN model over their fully supervised counterparts in a target hospital.

研究の動機と目的

• 臨床NLPにおける手動アノテーションの高コストと高作業負荷を軽減し、レントゲン報告書分類におけるラベル付きデータへの依存度を低減すること。
• 病院間で豊富に存在するラベルなし臨床テキストを活用することで、リソースが限られた環境における分類性能を向上させること。
• ラベル付きデータが豊富にあり、かつ既に構築済みのソース病院からの知識を、ラベル付きデータが限られるターゲット病院のモデル向上に活用する方法を検討すること。
• 半教師付き学習と転移学習を組み合わせた手法が、レントゲン報告書における奇形検出にどの程度効果的であるかを評価すること。

提案手法

• 特徴工学を不要とするエンドツーエンド学習を実現するため、畳み込みニューラルネットワーク（CNN）を採用し、生テキストから有効な表現学習を可能にする。
• 自己学習を半教師付き学習手法として採用：ターゲット病院のラベルなしデータに対して高信頼度の予測を繰り返し生成し、その結果を再訓練に活用する。
• ソース病院（例：成人病院または小児病院）で事前学習されたモデルの知識を、転移学習によりターゲットモデルに統合する。
• ターゲット病院のラベルなしデータとソース病院のラベル付きデータを統合したトレーニング戦略を採用し、汎化性能と分類性能の向上を図る。
• 3つのオーストラリアの病院（成人、小児、混合）を対象とした多病院評価フレームワークを構築し、モデルの頑健性と移行可能性を評価する。
• ベースラインモデルとの性能向上を検証するため、統計的有意性検定（p < 0.05）を実施する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 臨床文書分類に適した学習モデルを構築するため、従来の教師あり学習またはディープラーニング手法の中で、どのアプローチがより効果的か？
• RQ2 RQ2: 半教師付き学習は、ラベル付きデータの不足にどのように寄与し、臨床文書分類のための効果的な学習モデルを構築するのにどの程度有効か？
• RQ3 RQ3: 既に構築済みの外部ソース病院のモデルから得られる知識を、SSLフレームワークにどのように統合することで、分類タスクの性能をさらに向上させられるか？

主な発見

• CNNは、問題固有の特徴工学を要せず、より高い効果を発揮するため、従来の教師あり学習手法を上回る性能を示す。
• 自己学習によるラベルなしデータの活用により、完全に教師ありのCNNと同等の性能を得るためのラベル付きデータを50%以上削減可能であり、高いデータ効率性を示す。
• 半教師付き転移学習モデルは、RCHデータセットでF1スコア0.9744、GCHデータセットで0.9643を達成し、ラベル付きデータの70%のみを用いて、完全に教師ありのCNN（F1 = 0.9367および0.9335）を著しく上回る。
• ソース病院のラベル付きデータからの転移学習により、性能がさらに向上し、自己学習を適用した転移学習モデルは、完全に教師ありおよび自己学習ベースラインと比較して統計的に有意な向上（p < 0.05）を示す。
• ターゲット病院にラベル付きデータが全くない状況（0%ラベル付きデータ）でも、転移学習モデルはRCHでF1スコア0.9678、GCHで0.9548を達成し、外部からの知識移行の価値を示す。
• 誤分類の主な原因は、言語的曖昧性に起因し、条件文や否定表現（例：「骨の異常なし」だが、可能性のある異常を示唆する表現）に起因するものが多く、臨床NLPにおける課題を浮き彫りにする。