[論文レビュー] Eye-SpatialNet: Spatial Information Extraction from Ophthalmology Notes

Surabhi Datta, Tasneem Kaochar+6 more|arXiv (Cornell University)|May 19, 2023

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本論文は Rad-SpatialNet を眼科ノートへ拡張し、空間情報と記述情報のための Eye-SpatialNet を作成、600 ノートを注釈付け、空間トリガーとフレーム要素を抽出する二段階の BERT ベース QA システムを用いて有望な F1 スコアを達成した。

ABSTRACT

We introduce an annotated corpus of 600 ophthalmology notes labeled with detailed spatial and contextual information of ophthalmic entities. We extend our previously proposed frame semantics-based spatial representation schema, Rad-SpatialNet, to represent spatial language in ophthalmology text, resulting in the Eye-SpatialNet schema. The spatially-grounded entities are findings, procedures, and drugs. To accurately capture all spatial details, we add some domain-specific elements in Eye-SpatialNet. The annotated corpus contains 1715 spatial triggers, 7308 findings, 2424 anatomies, and 9914 descriptors. To automatically extract the spatial information, we employ a two-turn question answering approach based on the transformer language model BERT. The results are promising, with F1 scores of 89.31, 74.86, and 88.47 for spatial triggers, Figure, and Ground frame elements, respectively. This is the first work to represent and extract a wide variety of clinical information in ophthalmology. Extracting detailed information can benefit ophthalmology applications and research targeted toward disease progression and screening.

研究の動機と目的

• 眼科医療ノートに空間表現スキーマを拡張して、詳細な空間的・文脈情報を捉える。
• 豊富な空間的・記述的フレーム要素を持つ眼科データセットを手動で注釈付けして作成する。
• 眼科ノートからの空間情報の自動抽出を目的とした二段階のトランスフォーマ QA 手法を評価する。
• 放射線科から眼科ドメインへの転移学習を探求し、抽出性能を向上させる。

提案手法

• Eye-SpatialNet スキーマを採用し、Rad-SpatialNet を眼科特有のフレーム要素（例：正確な位置記述子、影響を受ける側、方向性、確信、関連診断、値）で強化する。
• BRAT を用いて 600 ノートを注釈付け、1715 の空間トリガー、7308 の所見、2424 の解剖部位、9914 の記述子。
• 空間情報抽出を二段階の BERT ベースの機械読解タスク（QA）として定式化し、まずトリガー/エンティティを特定し、次にフレーム要素を抽出する。
• 領域情報を取り入れたテンプレート（find+desc を含む）を用いて QA モデルのクエリを生成し、第二ターンでフレーム要素を抽出する。
• Rad-SpatialNet（放射線科）から Eye-SpatialNet への逐次的ファインチューニング（転移学習）を検討し、初期学習（スクラッチ）との比較を行う。

実験結果

リサーチクエスチョン

• RQ1 Eye-SpatialNet は臨床ノートから眼科特有の空間的・記述的フレーム要素を正確に表現・抽出できるか？
• RQ2 BERT を用いた二段階 QA アプローチは、眼科ノートにおける空間トリガー、所見、解剖部位、および関連フレーム要素を効果的に抽出できるか？
• RQ3 放射線科から眼科ドメインへの転移学習が抽出性能に与える影響はどのようか？
• RQ4 どの眼科特有のフレーム要素（例：正確な位置記述子、影響を受ける側、値）が最も抽出が難しいか？

主な発見

Frame Element	Precision (%)	Recall (%)	F1
空間トリガー	86.86	91.89	89.31
所見	75.71	83.41	79.37
解剖部位	85.37	85.15	85.26
位置記述子	30.77	40.00	34.78
その他の記述子	76.57	83.04	79.67
主張	81.78	89.80	85.60
量	82.89	82.89	82.89
手技	56.67	53.12	54.84

• 二段階 QA 法は、空間トリガー(89.31)およびグラウンドフレーム要素(88.47)で高い F1 を示し、第二ターンでトリガー(89.31)と解剖部位(85.26)の性能が特に高い。
• 空間トリガー、所見、解剖部位の抽出は、テストセットでそれぞれ F1 が 89.31、79.37、85.26 に達する。
• 位置記述子と手技は低い F1 スコアを示し（34.78 および 54.84）、これらの要素の抽出がより難しいことを示唆する。
• 放射線科から眼科への転移学習は、対象要素のいくつかのフレーム要素の F1 スコアを向上させる（例：Figure が 78.76 から 80.88、Hedge が 82.64 から 89.08）。眼科微調整なしで Ground は 91.95 に達する。
• データセットは 1715 の空間トリガー、7308 の所見、2424 の解剖部位、9914 の記述子から成り、600 ノートに注釈付けされている。