[論文レビュー] Knowledge-driven Encode, Retrieve, Paraphrase for Medical Image Report Generation

Christy Y. Li, Xiaodan Liang+2 more|arXiv (Cornell University)|Mar 25, 2019

Multimodal Machine Learning Applications参考文献 41被引用数 5

ひとこと要約

本稿では、医療知識、テンプレートの検索、ニューラルパラフレージングを統合する、医療画像レポート生成のための新規フレームワークであるKnowledge-driven Encode, Retrieve, Paraphrase (KERP)を提案する。視覚的特徴から異常性グラフをモデル化するためのGraph Transformer (GTR) を活用することで、2つのベンチマークデータセットにおいて、レポート品質、異常検出、説明可能な注目領域局在化の面で最先端の性能を達成した。

ABSTRACT

Generating long and semantic-coherent reports to describe medical images poses great challenges towards bridging visual and linguistic modalities, incorporating medical domain knowledge, and generating realistic and accurate descriptions. We propose a novel Knowledge-driven Encode, Retrieve, Paraphrase (KERP) approach which reconciles traditional knowledge- and retrieval-based methods with modern learning-based methods for accurate and robust medical report generation. Specifically, KERP decomposes medical report generation into explicit medical abnormality graph learning and subsequent natural language modeling. KERP first employs an Encode module that transforms visual features into a structured abnormality graph by incorporating prior medical knowledge; then a Retrieve module that retrieves text templates based on the detected abnormalities; and lastly, a Paraphrase module that rewrites the templates according to specific cases. The core of KERP is a proposed generic implementation unit---Graph Transformer (GTR) that dynamically transforms high-level semantics between graph-structured data of multiple domains such as knowledge graphs, images and sequences. Experiments show that the proposed approach generates structured and robust reports supported with accurate abnormality description and explainable attentive regions, achieving the state-of-the-art results on two medical report benchmarks, with the best medical abnormality and disease classification accuracy and improved human evaluation performance.

研究の動機と目的

• 視覚的、言語的、ドメイン特異的な医療知識を統合することで、長く整合性があり臨床的に正確な医療レポートを生成する課題に対処すること。
• 構造化された知識グラフを用いて異常性の関係を明示的にモデル化することで、レポート生成のロバスト性を向上させること。
• 臨床的所見と整合する注目マップを生成することで、解釈可能性を向上させること。
• 三段階パイプライン（エンコード、検索、パラフレージング）を通じて、リトライーブベースの信頼性と生成モデルのなめらかさのバランスをとること。
• 医療レポートベンチマークにおいて、自動評価および人間評価の指標で最先端の性能を達成すること。

提案手法

• エンコードモジュールは、事前知識を用いて視覚的特徴を構造化された異常性グラフに変換し、ノードが臨床的異常を表し、エッジが関係的依存性を符号化する。
• 検索モジュールは、異常性グラフに検出された異常をもとに、事前登録済みの臨床的テンプレートから関連するテキストテンプレートを検索する。
• パラフレージングモジュールは、症例固有の詳細情報を加えて、取得したテンプレートを再書式化し、よりなめらかで正確な表現を実現する。
• 新規のGraph Transformer (GTR) ユニットは、アテンションメカニズムを用いて、複数ドメインのグラフ構造データ（例：知識グラフ、画像、シーケンス）間を動的に変換する。
• GTRは事前知識を組み込み、強力なグラフ表現を学習し、視覚的、知識的、言語的グラフ間で効果的なクロスモodal変換を可能にする。
• フレームワークは、異常性分類、テンプレート検索、レポート生成の共同最適化により、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの手法と比較して、知識駆動型でリトライーブ補強されたフレームワークは、医療画像レポート生成の正確性と整合性を向上させることができるか？
• RQ2 医療異常性のグラフ構造的表現は、臨床的関係をどれほど効果的にモデル化でき、診断的推論を向上させることができるか？
• RQ3 パラフレージングモジュールは、取得したテンプレートのなめらかさと臨床的関連性をどれほど向上させることができるか？
• RQ4 提案されたGraph Transformer (GTR) ユニットは、マルチモーダル医療AIにおける多様なグラフ構造データに一般化できるか？
• RQ5 構造化された医療知識を統合することで、放射線学的所見と整合する説明可能な注目マップが得られるか？

主な発見

• KERPは、BLEU-1 から BLEU-4 および ROUGE-L を含む自動評価指標において、両方のベンチマークデータセット（IU X-Ray および CX-CHR）で最先端の性能を達成した。
• IU X-Ray データセットでは、KERPはすべてのベースラインより BLEU-1,2,3,4 および ROUGE-L スコアで優れており、強化学習を用いないモデルの中で最高の CIDEr スコアを記録した。
• CX-CHR データセットでは、パラフレージング機能を備えない KER ベースラインより著しく優れており、パラフレージング段階の有効性が、なめらかさと自然さの向上に寄与していることが示された。
• KERPは、両データセットで最高の異常および疾患分類 AUC を達成し、DenseNet よりも6%以上優れており、医療知識を統合したことで優れた特徴表現学習が可能であることを示した。
• 人間評価では、KERPがすべての比較ベースラインよりよりなめらかで正確かつ臨床的に関連性の高いレポートを生成することが確認された。
• 定性的な分析では、生成されたレポートと視覚的注目マップの間に強い整合性が確認され、異常例では右上肺領域など臨床的に関連性のある領域に注目が集中していた。