[論文レビュー] Improving the Factual Correctness of Radiology Report Generation with Semantic Rewards

Jean-Benoit Delbrouck, Pierre Chambon+4 more|arXiv (Cornell University)|Oct 21, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、レセプトグラフデータセットから抽出された意味的報酬を活用することで、胸部X線レポート生成における事実の正確性を向上させる強化学習フレームワークを提案する。このデータセットは、レポート内のエンティティと関係をアノテートしている。グラフベースの報酬を最適化することにより、先行手法と比較して、事実の正確性メトリクスで最大25.3%の相対的改善を達成した。

ABSTRACT

Neural image-to-text radiology report generation systems offer the potential to improve radiology reporting by reducing the repetitive process of report drafting and identifying possible medical errors. These systems have achieved promising performance as measured by widely used NLG metrics such as BLEU and CIDEr. However, the current systems face important limitations. First, they present an increased complexity in architecture that offers only marginal improvements on NLG metrics. Secondly, these systems that achieve high performance on these metrics are not always factually complete or consistent due to both inadequate training and evaluation. Recent studies have shown the systems can be substantially improved by using new methods encouraging 1) the generation of domain entities consistent with the reference and 2) describing these entities in inferentially consistent ways. So far, these methods rely on weakly-supervised approaches (rule-based) and named entity recognition systems that are not specific to the chest X-ray domain. To overcome this limitation, we propose a new method, the RadGraph reward, to further improve the factual completeness and correctness of generated radiology reports. More precisely, we leverage the RadGraph dataset containing annotated chest X-ray reports with entities and relations between entities. On two open radiology report datasets, our system substantially improves the scores up to 14.2% and 25.3% on metrics evaluating the factual correctness and completeness of reports.

研究の動機と目的

• 神経的レセプトグラフ報告生成システムにおける、継続的な事実の不完全性および不一致の問題に対処すること。
• BLEU や CIDEr といった従来の自然言語生成（NLG）メトリクスが、事実の正確性を捉えられていないという限界を克服すること。
• 放射線科医がアノテートした意味的グラフを用いて、胸部X線レポートに特化した、事実に基づいた報酬メカニズムを開発すること。
• 強化学習を用いて、事実の正確性と完全性を直接最適化することで、モデルの性能を向上させること。
• RadGraphからの意味的報酬が、弱教師ありまたは一般的なバイオメディカル NER に基づく手法よりも、事実評価において優れていることを示すこと。

提案手法

• 著者らは、RadGraph データセットから抽出されたエンティティと関係の意味的グラフに基づいて、新しい報酬関数「RadGraph報酬」を設計した。
• RadGraph モデルをレセプトグラフ報告でファインチューニングし、参照レポートおよび生成レポートの両方のエンティティと関係のアノテーションを生成した。
• RadGraph報酬の3つのバリエーションを定義した：エンティティの重複を測るもの、関係の重複を測るもの、および両方を組み合わせて参照レポートと生成レポートのグラフ間の構造的類似度を測るもの。
• モデルは、流暢さのための負の対数尤度（NLL）損失、表面レベルの類似度のための BERTScore、そして事実の正確性のための RadGraph報酬を組み合わせたハイブリッド目的関数で訓練された。
• 強化学習を用いて RadGraph報酬を最適化し、モデルが流暢さと事実の正確性の両方を満たす報告を生成するように学習できるようにした。
• 本手法は、MIMIC-CXR と Open-i という2つのオープンデータセット上で評価され、標準的な NLG メトリクスに加えて、事実指向のメトリクスが用いられた。

実験結果

リサーチクエスチョン

• RQ1 放射線科医がアノテートしたエンティティと関係のグラフから導出される意味的報酬は、レセプトグラフ報告生成における事実の正確性を向上させることができるか？
• RQ2 BLEU や CIDEr といった従来の NLG メトリクスを最適化するのと比較して、RadGraphに基づく報酬を最適化することは、どのような差異を示すか？
• RQ3 事実の意味的報酬を用いて訓練された、軽量で高速に学習可能なモデルアーキテクチャは、より複雑なアーキテクチャを上回ることができるか？
• RQ4 一般的なバイオメディカル NER システムと比較して、ドメイン特化型の意味的アノテーションは、事実の整合性と完全性にどのような影響を与えるか？
• RQ5 RadGraph報酬は、高精度だが文法的に整合性のない報告を生成する傾向を緩和できるか？

主な発見

• 提案された RadGraph報酬手法は、MIMIC-CXR データセットにおいて、先行手法と比較して事実の正確性メトリクスで14.2%の相対的改善を達成した。
• Open-i データセットでは、事実の正確性メトリクスで25.3%の相対的改善を達成し、データセット間での強い汎化性能を示した。
• 弱教師あり NLI モデルや一般的なバイオメディカル NER システムに依存する以前のアプローチですら、それらを評価メトリクスとして用いた場合にすら、本手法はそれを上回った。
• RadGraphに基づく報酬は、エンティティリCALL（40.9%マクロ平均）と関係リCALL（18.7%マクロ平均）を顕著に向上させたが、ラベルタイプによって性能にばらつきが見られた。
• OBS-U エンティティラベルのリCALLは0%にとどまり、特定の臨床的観察を学習する上で深刻なギャップが存在することが示された。また、15%の関係が誤ってラベル付けされた。
• NLL訓練（1エポックあたり50分）と比較して、RL訓練の計算コスト（1エポックあたり7〜10時間）は高いが、本手法は軽量で高速なアーキテクチャを維持しながら、最先端の事実の正確性を達成した。