[論文レビュー] Prior Knowledge Enhances Radiology Report Generation

Song Wang, Liyan Tang+4 more|PubMed|Jan 11, 2022

Radiology practices and education参考文献 6被引用数 16

ひとこと要約

本稿では、テキストマイニングで得られた医療概念の関連性をグラフコンvolutionネットワークに統合することで、レポート品質を向上させる知識グラフ拡張型ディープラーニングフレームワークを提案する。RadLex や補助的なテキストマイニング結果から得られる事前知識を組み込むことで、IU X-ray データセット上で ROUGE-L 0.384 ± 0.007、CIDEr 0.340 ± 0.011 の最先端性能を達成し、従来手法より主要指標で1.5–2.0%の向上を達成した。

ABSTRACT

Radiology report generation aims to produce computer-aided diagnoses to alleviate the workload of radiologists and has drawn increasing attention recently. However, previous deep learning methods tend to neglect the mutual influences between medical findings, which can be the bottleneck that limits the quality of generated reports. In this work, we propose to mine and represent the associations among medical findings in an informative knowledge graph and incorporate this prior knowledge with radiology report generation to help improve the quality of generated reports. Experiment results demonstrate the superior performance of our proposed method on the IU X-ray dataset with a ROUGE-L of 0.384±0.007 and CIDEr of 0.340±0.011. Compared with previous works, our model achieves an average of 1.6% improvement (2.0% and 1.5% improvements in CIDEr and ROUGE-L, respectively). The experiments suggest that prior knowledge can bring performance gains to accurate radiology report generation. We will make the code publicly available at https://github.com/bionlplab/report_generation_amia2022.

研究の動機と目的

• 既存のディープラーニングモデルが、画像所見同士の相互影響を正しくモデル化できないという限界を是正すること。
• 画像所見間の関係を捉える医療知識を統合することで、レポート品質を向上させること。
• 手動で整備された知識グラフの代替として、データ駆動型かつスケーラブルな代替手法を開発すること。
• 事前知識の影響が疾患分類およびレポート生成性能に与える影響を評価すること。

提案手法

• 医療所見をノード、それらの関連性をエッジとする知識グラフをRadLexオントロジーから構築する。さらに、レポート内のテキストマイニングで得られた補助的ノードを追加する。
• グラフコンvolutionネットワーク（GCN）を用いて、グラフ構造に基づきノード表現を伝搬・精錬し、画像特徴をアテンション機構で統合する。
• 画像特徴は、CheXpertで事前学習されたDenseNet-121バックボーンを用いて抽出され、その後GCNで学習されたノード特徴と融合される。
• モデルは二重ブランチアーキテクチャを採用しており、一方はマルチラベル疾患分類、もう一方は二段階のデコーダーを用いた階層的レポート生成を担当する。
• 二段階の訓練手順を採用する：まず最初に、最初の20個の疾患ノードに対して交差エントロピー損失を用いて分類を最適化し、次に、交差エントロピーと強化学習の組み合わせでレポート生成を訓練する。
• 補助的ノード（10個）はグラフに含まれるが、分類損失の対象外とすることで、特徴表現を豊かにしつつ過学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のテキストマイニング知識グラフを統合することで、事前知識のないモデルと比較して、レポート生成の品質が向上するか？
• RQ2 医療所見間の関連性を知識グラフとしてモデル化することで、生成レポートの整合性および正確性にどのような影響を与えるか？
• RQ3 統合された事前知識が、統合フレームワーク内での疾患分類およびレポート生成性能をどの程度向上させるか？
• RQ4 補助的でテキストマイニングで得られた所見を含めることで、モデルが微細な放射線所見を捉える能力が向上するか？

主な発見

• 提案モデルは、IU X-ray データセットで ROUGE-L 0.384 ± 0.007、CIDEr 0.340 ± 0.011 のスコアを達成し、従来の最先端手法より1.5–2.0%の向上を示した。
• Zhangら[13] よりもROUGE-Lで2.0%、CIDErで1.5%の向上を達成し、テキストマイニングで得た知識の有効性を裏付けた。
• アブレーションスタディにより、知識グラフおよび補助的ノードの両方が、レポート生成性能の向上に顕著な寄与をしていることが確認された。
• モデルは、大部分の疾患においてZhangら[13]と同等のAUC性能を維持しており、知識統合が分類精度を損なわないことを示した。
• エラー解析の結果、希少な所見（例：カルシウム化肉芽腫）を省略するケースがあることが判明し、低頻度パターンの捉えにくさに限界があることが示唆された。
• ガウスノイズによる画像品質の低下は、AUCを0.786から0.683に低下させ、レポート生成指標も低下させた。これは、入力品質に感受性が高いことを示している。