[論文レビュー] A Survey on Deep Learning and Explainability for Automatic Image-based Medical Report Generation

Pablo Messina, Pablo Pino+8 more|arXiv (Cornell University)|Oct 20, 2020

Multimodal Machine Learning Applications参考文献 151被引用数 7

ひとこと要約

本サーベイは、医療画像レポート自動生成のためのディーブラーニング手法をレビューし、データセット、アーキテクチャ設計、説明可能性、評価指標の面に焦点を当てる。現在の評価は自然言語処理（NLP）指標に大きく依存しており、医療的正確性を評価できないことが判明し、分野の検証手法における重要なギャップを示している。

ABSTRACT

Every year physicians face an increasing demand of image-based diagnosis from patients, a problem that can be addressed with recent artificial intelligence methods. In this context, we survey works in the area of automatic report generation from medical images, with emphasis on methods using deep neural networks, with respect to: (1) Datasets, (2) Architecture Design, (3) Explainability and (4) Evaluation Metrics. Our survey identifies interesting developments, but also remaining challenges. Among them, the current evaluation of generated reports is especially weak, since it mostly relies on traditional Natural Language Processing (NLP) metrics, which do not accurately capture medical correctness.

研究の動機と目的

• 医用画像からレントゲンレポートを自動生成するためのディープラーニング手法を体系的かつ包括的にレビューすること。
• 医療レポート生成研究で使用されている現在のデータセットの状態を分析すること。
• マルチモodalな画像・テキスト学習のためのディープニューラルネットワークのアーキテクチャ設計を検討すること。
• 医療レポート生成モデルに説明可能性技術を統合する評価を行うこと。
• 既存の評価指標の限界、特に医療的正確性を保証できない点を特定すること。

提案手法

• 本サーベイは、深層ニューラルネットワークを用いた自動レポート生成分野の最近の研究を包括的に分析する。
• 分野で使用されるデータセットを分類・評価し、そのサイズ、モodal（モダリティ）、臨床的関連性を評価する。
• エンコーダ・デコーダアーキテクチャ、アテンション機構、ビジョン・ランゲージトランスフォーマを、レポート生成モデルのコアコンponentsとして検討する。
• 予測の説明可能性を高めるための手法、例えばアテンション可視化やセマンティックマップ（サリエンシーマップ）をレビューする。
• BLEU、ROUGE、CIDErといった標準的なNLP指標を批判的に評価し、臨床的正確性を測るうえでのその欠陥を強調する。
• 複数の研究から得られた知見を統合し、分野におけるトレンド、課題、未解決問題を特定する。

実験結果

リサーチクエスチョン

• RQ1 自動医療レポート生成で使用される主なデータセットは何か。また、それらはモデルの学習と評価をどのように支援しているか。
• RQ2 ディープニューラルネットワークアーキテクチャは、視覚的およびテキスト的モダリティをどのように統合して正確なレポートを生成しているか。
• RQ3 現在のモデルはどの程度説明可能な出力を提供しており、解釈性を高めるためにどのような技術が用いられているか。
• RQ4 なぜ従来のNLP指標が医療レポートの質を評価するのに不十分なのか。
• RQ5 これらのモデルの評価および臨床現場への導入における最も深刻な課題は何か。

主な発見

• 現在の生成医療レポートの評価は、主にBLEU、ROUGE、CIDErといったNLP指標に依存しており、医療的正確性を反映していない。
• 医療用語の正確性や臨床的推論の正しさを評価する標準化された、臨床的根拠に基づいた評価プロトコルが不足している。
• ディープラーニングモデルはレポート生成の質を向上させたが、医療的に誤った、あるいは架空の記述（ホールシネーション）を含む出力が頻発する。
• アテンションマップのような説明可能性技術は使用されているが、臨床的信頼性を保証するにはまだ不十分である。
• 大規模で多様性に富み、臨床的に検証されたデータセットが不足しており、モデルの汎化性能を支える基盤が弱い。
• モデルアーキテクチャに臨床的知識を統合する取り組みは未だ十分に検討されておらず、実用的応用の可能性が制限されている。