[論文レビュー] Caveats in Generating Medical Imaging Labels from Radiology Reports

Tobi Olatunji, Yao Li+3 more|arXiv (Cornell University)|May 6, 2019

COVID-19 diagnosis using AI参考文献 7被引用数 8

ひとこと要約

本研究は、レントゲン診断放射線科医のチストレントゲン画像の視覚的解釈とその臨床的レポートとの間にある深刻な不一致を明らかにした。報告書に基づくラベル—医療AIを訓練するために一般的に使用される—には、臨床的に行動を要しない所見による顕著なノイズが含まれており、その結果、最高水準のNLPモデルですら画像で確認された所見の55.6％しか抽出できないことが示された。これはモデルの信頼性を損なうものであり、医療AIにおけるラベル付けプロセスの改善が不可欠であることを示している。

ABSTRACT

Acquiring high-quality annotations in medical imaging is usually a costly process. Automatic label extraction with natural language processing (NLP) has emerged as a promising workaround to bypass the need of expert annotation. Despite the convenience, the limitation of such an approximation has not been carefully examined and is not well understood. With a challenging set of 1,000 chest X-ray studies and their corresponding radiology reports, we show that there exists a surprisingly large discrepancy between what radiologists visually perceive and what they clinically report. Furthermore, with inherently flawed report as ground truth, the state-of-the-art medical NLP fails to produce high-fidelity labels.

研究の動機と目的

• レントゲン診断放射線科医のチストレントゲン画像に対する視覚的解釈とその臨床的レポートとの間のギャップを調査すること。
• レポート自体が不正確を含む場合に、NLPモデルがレポートからラベルを抽出する際の信頼性を評価すること。
• 医療画像ラベル付けの不一致の根本的原因、特に報告書にしばしば省かれる臨床的に行動を要しない所見を同定すること。
• 報告書に基づくラベルが本質的に不完全であることを実証し、それらを用いて訓練された下流のAIモデルの性能が著しく低下することを示すこと。
• 医療AI開発におけるレポートを真のラベル（グランドトゥース）として使用することの再評価を提唱すること。

提案手法

• 非スクリーニング用チストレントゲン画像1,000例とそのレポートを収集したデータセットを構築した。
• 2つの専門家レントゲン診断放射線科医グループに、それぞれ画像レビューのみ（$y_{\text{img}}^{\text{rad}}$）とレポートレビューのみ（$y_{\text{txt}}^{\text{rad}}$）に基づいて所見をラベル付けさせた。
• 最高水準の医療分野向けNLP（Irvin et al., 2019）を用いて、レポートからラベルを抽出した（$y_{\text{txt}}^{\text{nlp}}$）。
• 画像ベースのラベルとレポートベースのラベルの一致度を、正確性、再現率、F1スコアを用いて測定した。
• 不一致事例の失敗分析を実施し、原因を非行動的所見、境界領域／曖昧な所見、解剖学的変異、技術的問題、明確な誤りの5つに分類した。
• NLPで抽出されたラベルと放射線科医が報告したラベルを比較し、現実のデータ品質制約下でのNLP性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 レントゲン診断放射線科医のチストレントゲン画像に対する視覚的解釈と臨床的レポートとの間に、どの程度の不一致が存在するか？
• RQ2 非行動的所見が、レポートにおけるラベル付けの不一致にどの程度寄与しているか？
• RQ3 臨床的に無関係または省かれた所見を含むレポートを訓練データとして用いた場合、最高水準のNLPモデルはどの程度の性能を示すか？
• RQ4 レポートベースのラベル付けにおける主な誤り要因は何であり、それらが下流のAIモデル性能にどのように影響を与えるか？
• RQ5 真のラベル（レポート）が視覚的所見と本質的に不一致である場合、NLPモデルは信頼性を持って正確なラベルを抽出できるか？

主な発見

• グローバル異常（Global Abnormal）カテゴリにおいて、画像ベースとレポートベースのラベルの一致度は69％にとどまり、全所見の中で最高水準であった。
• 報告書ラベルを真のラベルとして用いた場合、NLPモデルは画像で確認された所見のわずか55.6％しか抽出できず、顕著な性能低下が示された。
• 心臓肥大（Cardiomegaly）に関しては、NLPとレポートラベルのF1スコアがたった0.23にとどまり、報告の不整合による著しい不一致が確認された。
• 24％のレポートが正常と記載していたが、画像レビューでは異常が確認されたことから、所見の著しい低報告（under-reporting）が示された。
• 20％のレポートが異常と記載していたが、画像上では正常であったことから、過剰報告（over-reporting）と偽陽性が顕著に確認された。
• 不一致の主な原因は、医療機器、慢性所見、年齢関連所見などの非行動的所見がレポートに省かれる傾向にあることであった。