[論文レビュー] Confidence-Guided Radiology Report Generation.

Yixin Wang, Zihao Lin+5 more|arXiv (Cornell University)|Jun 21, 2021

Multimodal Machine Learning Applications参考文献 36被引用数 6

ひとこと要約

本稿では、モデルの信頼性を向上させるために、視覚的およびテキスト的不確実性を明示的にモデル化する信頼度誘導型レントゲン画像報告書生成フレームワークを提案する。不確実性重み付き損失を活用することで、より包括的な最適化が可能となり、公開レントゲン画像データセットにおいて最先端の性能を達成する。

ABSTRACT

Medical imaging plays a pivotal role in diagnosis and treatment in clinical practice. Inspired by the significant progress in automatic image captioning, various deep learning (DL)-based architectures have been proposed for generating radiology reports for medical images. However, model uncertainty (i.e., model reliability/confidence on report generation) is still an under-explored problem. In this paper, we propose a novel method to explicitly quantify both the visual uncertainty and the textual uncertainty for the task of radiology report generation. Such multi-modal uncertainties can sufficiently capture the model confidence scores at both the report-level and the sentence-level, and thus they are further leveraged to weight the losses for achieving more comprehensive model optimization. Our experimental results have demonstrated that our proposed method for model uncertainty characterization and estimation can provide more reliable confidence scores for radiology report generation, and our proposed uncertainty-weighted losses can achieve more comprehensive model optimization and result in state-of-the-art performance on a public radiology report dataset.

研究の動機と目的

• レントゲン画像報告書生成におけるモデルの不確実性という未だ十分に検討されていない問題に取り組む。
• 深層学習に基づく報告書生成において、視覚的およびテキスト的不確実性を明示的に定量化する。
• 推定された不確実性に応じた損失の重み付けによって、モデルの最適化を改善する。
• 信頼度に配慮した学習により、生成された報告書の信頼性を向上させる。
• ベンチマークレントゲン画像報告書データセットにおいて最先端の性能を達成する。

提案手法

• 本手法は、画像特徴から視覚的不確実性を、生成された報告書トークンからテキスト的不確実性を定量化する二重不確実性推定メカニズムを導入する。
• 視覚的不確実性は、画像エンコーダー特徴に対してモンテカルロドロップアウトまたはエントロピーに基づく測定により推定される。
• テキスト的不確実性は、生成過程における自己回帰的デコーダーの予測分布から計算される。
• 推定された不確実性は、文レベルおよび報告書レベルの損失関数に対して動的に重み付けに使用される。
• 不確実性重み付き損失関数により、よりロバストで包括的なモデル最適化が可能になる。
• フレームワークは、標準的なシーケンス・トゥ・シーケンス型レントゲン画像報告書生成パイプラインに不確実性推定を統合する。

実験結果

リサーチクエスチョン

• RQ1 レントゲン画像報告書生成において、視覚的およびテキスト的不確実性をどのように効果的にモデル化できるか？
• RQ2 不確実性推定は、生成されたレントゲン画像報告書の信頼性を向上させることができるか？
• RQ3 不確実性重み付き損失学習は、より良いモデル最適化と性能をもたらすか？
• RQ4 提案手法は、ベンチマークレントゲン画像報告書データセットで最先端の結果を達成できるか？

主な発見

• 提案手法は、レントゲン画像報告書生成において視覚的およびテキスト的不確実性の両方を効果的に定量化できた。
• 不確実性推定により、文レベルおよび報告書レベルの両方で、より信頼性の高い信頼度スコアが得られた。
• 不確実性重み付き損失機構により、より包括的なモデル最適化が実現された。
• 本手法は、公開レントゲン画像報告書データセットにおいて最先端の性能を達成した。
• 不確実性モデリングの統合により、追加のアノテーションを必要とせずにモデルの信頼性が向上した。