[論文レビュー] Hierarchical BERT for Medical Document Understanding

Ning Zhang, Maciej Jankowski|arXiv (Cornell University)|Mar 11, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、階層的BERTアーキテクチャであるMedical Document BERT (MDBERT) を提案する。このモデルは、トークン、文、文書の各レベルでテキストをボトムアップに処理することにより、長大な医療文書における効果的で効率的かつ汎用的な表現学習を可能にする。MDBERTは、MIMIC-IIIで最高20%の相対的改善を達成するICDコード割り当てにおいて最先端の性能を示し、従来のBERTの自己注意機構の計算量を100分の1未満にまで削減している。また、多様な下流NLPタスクに応用可能な転送可能な文および文書レベルの埋め込み表現を提供する。

ABSTRACT

Medical document understanding has gained much attention recently. One representative task is the International Classification of Disease (ICD) diagnosis code assignment. Existing work adopts either RNN or CNN as the backbone network because the vanilla BERT cannot handle well long documents (>2000 to kens). One issue shared across all these approaches is that they are over specific to the ICD code assignment task, losing generality to give the whole document-level and sentence-level embedding. As a result, it is not straight-forward to direct them to other downstream NLU tasks. Motivated by these observations, we propose Medical Document BERT (MDBERT) for long medical document understanding tasks. MDBERT is not only effective in learning representations at different levels of semantics but efficient in encoding long documents by leveraging a bottom-up hierarchical architecture. Compared to vanilla BERT solutions: 1, MDBERT boosts the performance up to relatively 20% on the MIMIC-III dataset, making it comparable to current SOTA solutions; 2, it cuts the computational complexity on self-attention modules to less than 1/100. Other than the ICD code assignment, we conduct a variety of other NLU tasks on a large commercial dataset named as TrialTrove, to showcase MDBERT's strength in delivering different levels of semantics.

研究の動機と目的

• 従来のBERTが512トークンのシーケンス長制限により、2000トークンを超える長い臨床ノートを処理する際に生じる制限を解消すること。
• 既存のICDコード割り当てモデルがタスク特化的であるのに対し、汎用的な文書および文レベルの埋め込み表現を備えていないという課題を克服すること。
• トークン、文、文書の複数レベルの意味的表現を同時に学習する統合的かつエンドツーエンドのモデルを構築し、NLPタスク間での転送性を向上させること。
• 自己注意機構の計算複雑性を低減することで、長大な医療文書の効率的符号化を可能にすること。
• MDBERTが学習した埋め込み表現の一般化能力を、ICDコード割り当て、患者セグメンテーション分類、および適応標準化といった多様な臨床NLPタスクにおいて実証すること。

提案手法

• MDBERTは、異なる文書からの文を再バッチ化することで、文書レベルでの共同学習を可能にするボトムアップの階層的アーキテクチャを採用している。
• トランスフォーマー・ブロックは、相対的位置エンコーディングを用いた多頭注目機構を用いて、各意味的レベル（トークン、文、文書）の表現を処理する。
• 意味的表現は階層的に平均プーリングを用いて集約され、任意のレベルにタスク固有のヘッドを接続することでエンドツーエンド学習が可能になる。
• モデルはコード説明の拡張をトレーニングプロセスに直接統合しており、別個のコード埋め込みネットワークの必要性を排除している。
• 文レベルの埋め込みは最初の平均プーリング層から得られ、文書レベルの埋め込みは最終的なプールド表現から得られる。
• 複数の下流タスク（例：ICDコード割り当て、性別分類、患者セグメンテーショングループ化）におけるマルチタスク学習を適用し、一般化性能と耐障害性を向上させている。

実験結果

リサーチクエスチョン

• RQ1 標準BERTの512トークン制限を超える長大な医療文書を処理するにあたり、BERTベースのモデルが性能劣化を伴わずに効果的に処理できるか。
• RQ2 統合的モデルが、多様な臨床NLPタスクに応用可能な汎用的な文書および文レベルの埋め込み表現を学習できるか。
• RQ3 階層的BERTアーキテクチャが、長大文書理解タスクにおける性能を維持または向上させつつ、計算複雑性を低減できるか。
• RQ4 MDBERTの統合的埋め込み空間が、ICDコード割り当て、患者セグメンテーション分類、および適応標準化といった下流タスクを効果的に支援できるか。
• RQ5 MDBERTのマルチタスク学習戦略が、タスク固有の微調整に比べ、リソースが限られたあるいは複雑な臨床NLPタスクにおいて性能を向上させられるか。

主な発見

• MDBERTはMIMIC-IIIデータセットにおけるICDコード割り当てタスクで最高20%の相対的改善を達成し、最先端の結果を再現した。
• モデルは自己注意モジュールの計算複雑性を、従来のBERTの100分の1未満にまで低減し、長大文書の効率的処理を可能にした。
• MDBERTの文書レベル埋め込みは複数の下流タスクに優れた一般化性能を示し、TrialTroveデータセットでは年齢層分類で98.4%のAUC-ROC、患者セグメンテーション分類で99.8%を達成した。
• MDBERTの文レベル埋め込みは、既存のベースラインを上回り、SNOMEDマッチングタスクにおける適応標準化で96.8%のAUCスコアを達成した。これはSBERT（95.3%）およびBioBERT（94.5%）を上回る結果であった。
• マルチタスク学習はICD10コード予測タスクの性能を向上させ、関連する臨床NLPタスク間での共有表現学習の利点を示した。
• MDBERTは過学習の兆候を示しており、特に小さなデータセットでは約10エポックを過ぎて性能が頭打ちになる傾向にあり、今後の研究ではより強い正則化や文レベルの制約の導入が求められる。