[論文レビュー] Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation

Mingjie Li, Fuyu Wang+2 more|arXiv (Cornell University)|Jun 6, 2020

Multimodal Machine Learning Applications参考文献 40被引用数 21

ひとこと要約

本論文は、内部の視覚的領域特徴と外部の医学教科書知識を統合することで放射線科医の臨床的ワークフローを模倣する、補助信号誘導型知識エンコーダ-デコーダー（ASGK）を提案する。視覚的注意と言語的知識の両方の補助信号を活用することで、ASGKは微細な医療タグ分類を向上させ、より正確で意味的に整合性のあるレポートを生成し、CX-CHRおよび新しいコロナウイルス性肺炎CTレポートデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Beyond the common difficulties faced in the natural image captioning, medical report generation specifically requires the model to describe a medical image with a fine-grained and semantic-coherence paragraph that should satisfy both medical commonsense and logic. Previous works generally extract the global image features and attempt to generate a paragraph that is similar to referenced reports; however, this approach has two limitations. Firstly, the regions of primary interest to radiologists are usually located in a small area of the global image, meaning that the remainder parts of the image could be considered as irrelevant noise in the training procedure. Secondly, there are many similar sentences used in each medical report to describe the normal regions of the image, which causes serious data bias. This deviation is likely to teach models to generate these inessential sentences on a regular basis. To address these problems, we propose an Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) to mimic radiologists' working patterns. In more detail, ASGK integrates internal visual feature fusion and external medical linguistic information to guide medical knowledge transfer and learning. The core structure of ASGK consists of a medical graph encoder and a natural language decoder, inspired by advanced Generative Pre-Training (GPT). Experiments on the CX-CHR dataset and our COVID-19 CT Report dataset demonstrate that our proposed ASGK is able to generate a robust and accurate report, and moreover outperforms state-of-the-art methods on both medical terminology classification and paragraph generation metrics.

研究の動機と目的

• 既存の医療レポート生成モデルが画像のすべての領域を同等に扱い、頻度の高い正常性記述に起因するデータバイアスを抱えるという限界を是正すること。
• 異常領域に注目し、教科書からの医療分野の知識を統合することで、放射線科医の臨床的ワークフローを模倣すること。
• 補助信号を用いることで、多ラベル医療タグ分類およびレポート生成におけるデータ非効率性とバイアスを低減すること。
• 放射線科レポートにおける医療用語分類と自然言語生成の質の両方を向上させること。
• 新しい臨床的関連性の高いコロナウイルス性肺炎CTレポートデータセットを用いてアプローチの有効性を検証し、最先端の手法と比較すること。

提案手法

• 異常画像領域の注目誘導型特徴統合から得られる内部補助信号を導入し、視覚的エンコーディングを誘導する。
• 大規模な医学教科書からの外部補助信号を活用して、自然言語デコーダーの事前学習を実施し、医療知識の記憶を促進する。
• 事前知識を統合し、視覚的および言語的表現の橋渡しを実現するための医療グラフエンコーダーを採用する。
• 多ラベル医療タグ分類におけるクラス不均衡を軽減するため、トレーニング中にファクタル損失を適用する。
• 事前学習済みGPTスタイルのデコーダーと知識強化型エンコーダーを組み合わせ、意味的に整合性の高い微細なレポートを生成する。
• 放射線科医によるエキスパートアノテーションを用いて、レポートの堅牢性と一般化性能を評価するため、新しいコロナウイルス性肺炎CTレポートデータセット（COV-CTR）を構築する。

実験結果

リサーチクエスチョン

• RQ1 補助信号は、医療レポート生成において、異常領域の検出をどのように向上させ、関係のない画像領域からのノイズをどのように低減するか？
• RQ2 外部の医学教科書信号は、生成されたレポートの意味的整合性と正確性をどの程度向上させるか？
• RQ3 正常所見がトレーニングデータに多く含まれる状況下で、ファクタル損失は多ラベル医療タグ分類におけるデータバイアスをどの程度軽減するか？
• RQ4 内部および外部の補助信号を統合することで、それらの信号を備えないベースラインモデルよりも優れた性能を達成できるか？
• RQ5 提案されたASGKフレームワークは、コロナウイルス性肺炎CTスキャンを含む多様な医療画像ドメインに一般化可能か？

主な発見

• ASGKは、ベースラインと比較してCX-CHRデータセットにおける医療タグ分類精度を4.5%向上させ、自動評価指標で15.6%の相対的向上を示した。
• 内部補助信号の導入により、CX-CHRデータセットにおけるCIDER-Dスコアが15.6%、ROUGE-Lが1.4%、BLEUが0.6%向上した。
• 外部補助信号の導入により、CX-CHRデータセットにおけるCIDER-Dスコアは289.7%から317.2%に、ROUGE-Lスコアは59.1%から66.9%に上昇し、レポート品質の顕著な向上が確認された。
• ファクタル損失を用いることで、標準的な交差エントロピーと比較して2つのデータセットでAUC指標の低下を0.9%と0.7%それぞれ軽減し、ラベル不均衡の処理能力の向上が示された。
• 外部信号が存在しない場合、モデルは繰り返しの文を生成し、データバイアスの軽減に失敗するため、意味的整合性の維持において外部知識の重要性が確認された。
• アブレーションスタディの結果、内部信号はタグ検出および微細な記述の向上に寄与し、外部信号は主に生成レポートの流暢さと整合性の向上に寄与することが確認された。