[論文レビュー] Quantification of BERT Diagnosis Generalizability Across Medical Specialties Using Semantic Dataset Distance

Mihir Khambete, William Su+2 more|arXiv (Cornell University)|Aug 14, 2020

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本研究では、MIMIC-III EHRデータにおける意味的データセット距離（MCD）を用いて、BERTベースのNLPモデルの医療専門分野への一般化能を評価する。モデルが複数の専門分野で学習されると一般化性能が向上し、性能はトレーニングセットとテストセットの意味的類似度と強く相関していることが判明。また、専門分野をまたいでテストした場合、モデルのAUCは内部テストの0.92から外部テストの0.83に低下する。

ABSTRACT

Deep learning models in healthcare may fail to generalize on data from unseen corpora. Additionally, no quantitative metric exists to tell how existing models will perform on new data. Previous studies demonstrated that NLP models of medical notes generalize variably between institutions, but ignored other levels of healthcare organization. We measured SciBERT diagnosis sentiment classifier generalizability between medical specialties using EHR sentences from MIMIC-III. Models trained on one specialty performed better on internal test sets than mixed or external test sets (mean AUCs 0.92, 0.87, and 0.83, respectively; p = 0.016). When models are trained on more specialties, they have better test performances (p < 1e-4). Model performance on new corpora is directly correlated to the similarity between train and test sentence content (p < 1e-4). Future studies should assess additional axes of generalization to ensure deep learning models fulfil their intended purpose across institutions, specialties, and practices.

研究の動機と目的

• EHRノートにおけるBERTベースの診断感情分類器が、異なる医療専門分野にわたってどの程度一般化するかを評価すること。
• 複数の専門分野にわたるトレーニングデータの多様性を高めることで、モデルの一般化性能が向上するかどうかを調査すること。
• 意味的データセット距離（MCD）と未観測のテストセットにおけるモデル性能の関係を定量化すること。
• 現在のNLPモデルが、専門分野や病院間でのノートスタイルのばらつきに対処する際の限界を評価すること。
• 新しい未観測の医療コーパスにおけるモデル性能を予測するための定量的指標（MCD）を提供すること。

提案手法

• ベス・アイザラ・デイコンス・メディカル・センターのICUユニットから得られた200万件を超えるノートを含むMIMIC-III EHRデータセットを用いた。
• ICD-10およびTCGA疾患リストを用いて、腫瘍学、循環器学、呼吸器学の3つの専門分野から診断用語を含む2,955文を抽出した。
• SpaCyを用いてトークン化および文分割を実施し、その後SciBERTを用いて意味的表現を埋め込み処理した。
• トレーニングセットとテストセットの文埋め込み間の平均コサイン距離（MCD）を計算し、データセット類似度の代理指標とした。
• 1つ、2つ、または3つの専門分野を含むトレーニングセットでBERTベースの感情分類器を微調整し、内部、部分的、外部テストセットでAUCを評価した。
• t-SNE可視化を用いて、ノートタイプと意味的類似度が埋め込み空間における主な信号であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 MIMIC-IIIにおいて、同じ専門分野のデータ（内部）と異なる専門分野のデータ（外部）でテストした場合、モデル性能はどのように変化するか？
• RQ2 専門分野にわたるトレーニングデータの多様性を高めることで、モデルの一般化性能はどの程度向上するか？
• RQ3 意味的データセット距離（MCD）は、未観測のテストセットにおけるモデル性能をどの程度正確に予測できるか？
• RQ4 ノートタイプは、専門分野にわたる埋め込み類似度とモデル一般化性能にどのような役割を果たすか？
• RQ5 MCDは、臨床NLPにおけるNLPモデル一般化の予測に、信頼できるデータセット類似度の代理指標として機能できるか？

主な発見

• 単一専門分野で学習したモデルは、内部テストセットでは平均AUCが0.92を達成したが、混合専門分野では0.87、外部専門分野では0.83に低下した（p = 0.016）。
• 専門分野にわたるトレーニングセットの多様性を高めることで、テスト性能が顕著に向上した（p < 1e-4）。これは、広範なデータで学習することで一般化性能が向上することを示している。
• モデル性能は、トレーニングセットとテストセット間の意味的データセット距離（MCD）と強く相関していた（p < 1e-4）。MCDが一般化を予測する信頼性のある指標であることが示された。
• 腫瘍学分野では、退院まとめノートが68％を占めており、ノートタイプバイアスのため、腫瘍学テストセットでの性能が誇張された可能性がある。
• MCDはデータセット類似度の違いを効果的に捉えており、内部ペアでは外部ペアよりもMCDが低かった。ただし、MCDは複雑な類似度分布を単純化する可能性がある。
• 本研究では、ノートタイプが埋め込み空間における主要な信号であることが明らかになった。これは意味的類似度と混同され、一般化性能に影響を与える可能性がある。