[論文レビュー] CheXbert: Combining Automatic Labelers and Expert Annotations for Accurate Radiology Report Labeling Using BERT

Akshay Smit, Saahil Jain+4 more|arXiv (Cornell University)|Apr 20, 2020

Radiomics and Machine Learning in Medical Imaging被引用数 74

ひとこと要約

CheXbertはrule-basedラベラー出力と小規模な専門家注釈を逆翻訳で拡張して生物医学的に事前訓練されたBERTをファインチューニングし、MIMIC-CXRテストデータで最先端の胸部X線レポートラベリングを達成し、放射線科医のパフォーマンスに近づけている。

ABSTRACT

The extraction of labels from radiology text reports enables large-scale training of medical imaging models. Existing approaches to report labeling typically rely either on sophisticated feature engineering based on medical domain knowledge or manual annotations by experts. In this work, we introduce a BERT-based approach to medical image report labeling that exploits both the scale of available rule-based systems and the quality of expert annotations. We demonstrate superior performance of a biomedically pretrained BERT model first trained on annotations of a rule-based labeler and then finetuned on a small set of expert annotations augmented with automated backtranslation. We find that our final model, CheXbert, is able to outperform the previous best rules-based labeler with statistical significance, setting a new SOTA for report labeling on one of the largest datasets of chest x-rays.

研究の動機と目的

• 大規模な医用画像モデルの訓練を可能にするため、スケーラブルな放射線レポートラベリングを動機づける。
• 既存のルールベースのラベラーを活用して生物医学的言語モデルをブーストする。
• 背訳を用いた拡張で限られた専門家注釈のラベリング精度を改善する。
• ルールベースの出力と専門家ラベルを組み合わせると従来のラベラーより優れた性能を示すことを実証する。

提案手法

• 14個の観察に対して14個のタスク特定の線形ヘッドを持つBERT-baseアーキテクチャを使用する。
• ルールベースのラベラー出力で訓練された生物医学的に事前訓練されたBERTモデルから初期化し、次に専門家注釈でファインチューニングする。
• 自動背翻訳を用いて小規模な専門家ラベル付きコーパスを多様な表現で拡張する。
• 14観察と3つのリトリーブタスク（陽性、陰性、未確定）にわたる加重F1指標で評価する。
• CheXpertベースラインとRadiologistベンチマークをCheXpertデータセットとMIMIC-CXRデータセットで比較する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのラベラー出力から初期化された生物医学的に事前訓練されたBERTモデルは、純粋な専門家ラベル訓練および純粋な自動ラベリングを上回ることができるか。
• RQ2 背翻訳の拡張は放射線レポートのラベリング性能を改善するか。
• RQ3 CheXbertは大規模な胸部X線データセットで放射線科医レベルのラベリング性能にどれだけ近づけるか。
• RQ4 このタスクで生物医学的事前訓練された表現と一般的な事前訓練表現を使用する場合の相対的性能向上はどれくらいか。

主な発見

• CheXbert (Tblue-hybrid-bt) は F1 = 0.798 (95% CI 0.775, 0.816) を達成し、CheXpert (0.743) を有意差で上回る（p<0.001）。
• CheXbertは放射線科医ベンチマークより0.007F1ポイント低い（0.805, 0.784–0.823）。
• Backtranslation augmentationは非拡張変种より性能を改善する（例: T-blue-hybrid-bt vs T-blue-rad）。
• 条件別分析では、CheXbertは Pneumonia (0.151), Fracture (0.120), Consolidation (0.105), Enlarged Cardiomediastinum (0.100), and No Finding (0.097) で最大の利益を生む。
• CheXbertは放射線科医ラベルのみ、または自動ラベラー出力のみで訓練されたモデルを上回る、ほとんどの観察で。