[論文レビュー] Effect of Radiology Report Labeler Quality on Deep Learning Models for Chest X-Ray Interpretation

Saahil Jain, Akshay Smit+2 more|arXiv (Cornell University)|Apr 1, 2021

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本研究は、レントゲン画像解釈のためのディープラーニングモデルにおけるレントゲンレポートラベルラーの質の影響を評価し、より高度な VisualCheXbert ラベルラーを用いることで、ラベル抽出の正確性と下流の画像分類性能の両方が顕著に向上することを示している。主な発見は、VisualCheXbert からのラベルを用いて訓練されたモデルが、重み付き平均 AUROC 0.87 を達成する一方で、CheXpert や CheXbert からのラベルを用いたモデルは、それぞれ 0.83 および 0.79 にとどまることである。

ABSTRACT

Although deep learning models for chest X-ray interpretation are commonly trained on labels generated by automatic radiology report labelers, the impact of improvements in report labeling on the performance of chest X-ray classification models has not been systematically investigated. We first compare the CheXpert, CheXbert, and VisualCheXbert labelers on the task of extracting accurate chest X-ray image labels from radiology reports, reporting that the VisualCheXbert labeler outperforms the CheXpert and CheXbert labelers. Next, after training image classification models using labels generated from the different radiology report labelers on one of the largest datasets of chest X-rays, we show that an image classification model trained on labels from the VisualCheXbert labeler outperforms image classification models trained on labels from the CheXpert and CheXbert labelers. Our work suggests that recent improvements in radiology report labeling can translate to the development of higher performing chest X-ray classification models.

研究の動機と目的

• レントゲンレポートラベルラーの質の向上が、胸部X線画像分類のためのディープラーニングモデルの性能に与える影響を調査すること。
• 3つの最先端のラベルラー（CheXpert、CheXbert、VisualCheXbert）を用いた、レントゲンレポートからのラベル抽出の正確性を比較すること。
• 高度なラベルラーからの高品質なラベルが、CheXpert データセット上での画像分類モデルの性能向上に繋がるかどうかを評価すること。
• 不確実性処理戦略（U-Zeros および U-Ones）が、ラベルラーの性能および下流モデルの正確性に与える影響を評価すること。
• レポートラベルラーの質とエンドツーエンドの胸部X線画像分類システムの性能の間の因果関係を確立すること。

提案手法

• 本研究では、8つの疾患に対して専門家がアノテートしたラベルを有する、224,316枚の胸部X線画像を含む CheXpert データセットを用いる。
• レントゲンレポートから正確な画像ラベルを抽出する能力を評価するために、3つのレントゲンレポートラベルラー（CheXpert、CheXbert、VisualCheXbert）を評価する。
• CheXpert および CheXbert からの不確実な予測に対しては、2つの戦略を用いる：負のクラス（U-Zeros）または正のクラス（U-Ones）にマッピングする。
• 各ラベルラーが生成したラベルを用いて、DenseNet-121 アーキテクチャに基づく画像分類モデルを訓練し、3台の TITAN-XP GPU を用いて学習を実施する。
• モデルの性能は、CheXpert テストセット上で AUROC スコアを用いて評価され、95%信頼区間は非パラメトリック百分位ブートストラップ法（1000 レプリケート）で計算される。
• 性能差の統計的有意性は、ブートストラップ信頼区間を用いて、ラベルラーおよびモデルの性能を条件ごとに比較することで評価される。

実験結果

リサーチクエスチョン

• RQ1 レントゲンレポートラベルラーの質が、胸部X線画像の抽出ラベルの正確性に顕著な影響を及えるか？
• RQ2 不確実性処理戦略（U-Zeros 対 U-Ones）は、自動ラベルラーの性能にどのように影響するか？
• RQ3 レントゲンレポートラベリングの改善が、胸部X線画像分類のためのより優れたディープラーニングモデルに繋がるか？
• RQ4 CheXpert、CheXbert、VisualCheXbert からのラベルを用いて訓練されたモデルの間には、測定可能な性能差が存在するか？
• RQ5 より高度なラベルラー（例：VisualCheXbert）の使用が、下流の画像分類 AUROC に統計的に有意な向上をもたらすか？

主な発見

• VisualCheXbert ラベルラーは、重み付き平均 F1 スコア 0.73（95% CI: 0.71–0.75）を達成し、U-Zeros 条件下で CheXpert（0.50）および CheXbert（0.50）を顕著に上回り、U-Ones 条件下でも同様に優位であった。
• VisualCheXbert ラベルを用いて訓練された画像分類モデルは、重み付き平均 AUROC 0.87（95% CI: 0.86–0.89）を達成し、CheXpert（0.83）および CheXbert（0.79）を統計的に有意に上回った。
• 「Enlarged Cardiom.」（n=253）の条件では、VisualCheXbert が F1 0.73 を達成した一方で、CheXbert は U-Ones 条件下で 0.23 にとどまり、希少疾患に対する頑健性が顕著に示された。
• VisualCheXbert ラベルを用いて訓練されたモデルは、アテレクトーシスに対して AUROC 0.84 を達成したのに対し、CheXpert（U-Zeros）は 0.70 にとどまり、微細または複雑な所見の検出性能が向上した。
• 「Lung Opacity」（n=264）の条件下では、VisualCheXbert を用いたモデルが AUROC 0.91 を達成し、CheXpert（0.90）および CheXbert（0.89）を上回り、高発症例疾患においても一貫した向上が確認された。
• 本研究は、最近のレントゲンレポートラベリング技術の進歩が、胸部X線画像解釈のためのディープラーニングモデル性能に測定可能な向上をもたらすことを確認した。