[論文レビュー] Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage

Shijing Si, Rui Wang+6 more|arXiv (Cornell University)|Jun 22, 2020

Topic Modeling参考文献 48被引用数 6

ひとこと要約

本稿では、小規模で不均衡な医療データセットを対象とした、ラベルに依存する自己注意機構を備えたBERTベースのモデル、LESA-BERTを提案し、患者からのメッセージの優先度分類に応用している。ラベル埋め込みを注意メカニズムに組み込み、モデルを小型化する知識蒸留を適用することで、過学習を軽減し、性能を向上させ、1,756件のメッセージ優先度データセットにおいて、強力なベースラインより4.3%高いマクロF1スコアを達成した。

ABSTRACT

Small and imbalanced datasets commonly seen in healthcare represent a challenge when training classifiers based on deep learning models. So motivated, we propose a novel framework based on BioBERT (Bidirectional Encoder Representations from Transformers forBiomedical TextMining). Specifically, (i) we introduce Label Embeddings for Self-Attention in each layer of BERT, which we call LESA-BERT, and (ii) by distilling LESA-BERT to smaller variants, we aim to reduce overfitting and model size when working on small datasets. As an application, our framework is utilized to build a model for patient portal message triage that classifies the urgency of a message into three categories: non-urgent, medium and urgent. Experiments demonstrate that our approach can outperform several strong baseline classifiers by a significant margin of 4.3% in terms of macro F1 score. The code for this project is publicly available at \url{https://github.com/shijing001/text_classifiers}.

研究の動機と目的

• 医療分野で一般的な小規模で不均衡な臨床データセットにおける深層学習モデルの学習課題に対処すること。
• 限られたデータ上で、BioBERTのような大規模事前学習モデルを微調整する際のモデル性能の向上と過学習の低減。
• 非緊急、中程度、緊急の3段階の優先度に患者ポータルメッセージを分類する実用的で導入可能なシステムの開発。
• 性能を損なわせることなく、効率的な推論を実現するための知識蒸留による実装。
• 限られたアノテーション付きデータを有する他の臨床NLPタスクにも適用可能な汎用的フレームワークの提供。

提案手法

• 各BERT層にラベル埋め込みを導入するLabel Embeddings for Self-Attention (LESA)を採用し、シーケンス符号化中にラベル固有の表現に注目できるようにする。
• 事前学習済みのBioBERT初期化を用いて、12層のLESA-BERTモデルを患者メッセージデータセット上で微調整する。
• 12層のLESA-BERTを、過学習とモデルサイズの低減を目的として、6層および3層の小型バージョンに知識蒸留する。
• 下流の分類タスクに使用するため、蒸留モデルの[CLS]トークン表現を用いる。
• クラスの不均衡を処理するため、クラスバランスを考慮したサンプリングを用いて、交差エントロピー損失でモデルをエンドツーエンドに訓練する。
• マクロF1スコアとt-SNE可視化を用いて、潜在空間におけるクラス分離性を分析し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTの自己注意機構にラベル埋め込みを組み込むことで、小規模で不均衡な臨床テキスト分類タスクの性能が向上するか？
• RQ2 大きな、微調整済みのLESA-BERTモデルから小型バージョンに知識蒸留することで、限られたデータ上での過学習が軽減され、一般化性能が向上するか？
• RQ3 提案されたLESA-BERTフレームワークは、SVM、ランダムフォレスト、標準BERTといった強力なベースラインと比較して、患者メッセージの優先度分類でどの程度優れているか？
• RQ4 LESA-BERTが学習した表現は、優先度クラスをどの程度分離しているか。また、ラベルの主観性はその分離にどのような影響を及けるか？
• RQ5 このフレームワークは、限られたアノテーション付きデータを有する実世界の医療NLPタスクに効果的に応用可能か？

主な発見

• LESA-BERTフレームワークはマクロF1スコア0.746を達成し、すべての強力なベースライン分類器を4.3ポイントも上回った。
• 6層のDistil-LESA-BERTモデルが、元の12層のLESA-BERTを上回った。これは、知識蒸留が小規模データセット上での過学習を軽減し、一般化性能を向上させることを示している。
• t-SNE可視化では、非緊急のメッセージが中程度および緊急のメッセージと明確に分離している一方、緊急と中程度のメッセージは、特徴の類似性とラベル付けの主観性のため、顕著な重複を示していた。
• 否定の処理に苦労しており、'胸の痛みなし'のようなメッセージを、キーワードの強さのため誤って緊急と分類していた。これは、否定を考慮したモデリングの必要性を示唆している。
• このフレームワークは汎用的であり、限られたアノテーション付きデータを有する他の臨床NLPタスクにも応用可能で、医療AIにおけるデータ不足問題に対する実用的解決策を提供する。
• 本システムは臨床的実用性を有しており、自動的優先度分類を可能にし、医療提供者の作業負担を軽減し、緊急メッセージへの対応時間を短縮する可能性を秘めている。