[論文レビュー] AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation

Di You, Fenglin Liu+4 more|arXiv (Cornell University)|Mar 18, 2022

Multimodal Machine Learning Applications参考文献 46被引用数 12

ひとこと要約

本稿では、視覚的領域と疾患タグを階層的アテンションで一致させることで、データバイアスと長文シーケンスモデリングの問題を解決する新しいフレームワーク、AlignTransformerを提案する。この手法により、異常領域に注目する疾患に基づく特徴量が得られ、IU-XrayおよびMIMIC-CXRデータセットで最先端の性能を達成し、放射線科医が本手法のレポートを以前のモデルのレポートよりも好む結果が得られた。

ABSTRACT

Recently, medical report generation, which aims to automatically generate a long and coherent descriptive paragraph of a given medical image, has received growing research interests. Different from the general image captioning tasks, medical report generation is more challenging for data-driven neural models. This is mainly due to 1) the serious data bias: the normal visual regions dominate the dataset over the abnormal visual regions, and 2) the very long sequence. To alleviate above two problems, we propose an AlignTransformer framework, which includes the Align Hierarchical Attention (AHA) and the Multi-Grained Transformer (MGT) modules: 1) AHA module first predicts the disease tags from the input image and then learns the multi-grained visual features by hierarchically aligning the visual regions and disease tags. The acquired disease-grounded visual features can better represent the abnormal regions of the input image, which could alleviate data bias problem; 2) MGT module effectively uses the multi-grained features and Transformer framework to generate the long medical report. The experiments on the public IU-Xray and MIMIC-CXR datasets show that the AlignTransformer can achieve results competitive with state-of-the-art methods on the two datasets. Moreover, the human evaluation conducted by professional radiologists further proves the effectiveness of our approach.

研究の動機と目的

• 正常領域が訓練データに多く含まれる医療レポート生成におけるデータバイアスを是正すること。
• 標準的なRNNの能力を超える長大なシーケンスをモデル化する必要がある、長く整合性のある医療レポートを生成する課題を克服すること。
• 視覚的特徴量を疾患固有の文脈に根拠づけることで、生成レポートの正確性と臨床的妥当性を向上させること。
• 視覚的領域と疾患タグの間の階層的アテンションにより、異常領域の表現を強化するフレームワークを開発すること。
• 自動評価指標と専門的放射線科医による人間評価を通じて、本手法の有効性を検証すること。

提案手法

• 入力画像から疾患タグを予測し、複数の粒度で視覚的領域と階層的に一致させるための、アラインメント階層的アテンション（AHA）モジュールを導入する。
• 二方向のアテンション機構を採用：まず疾患タグを視覚的領域に一致させることで疾患に基づく特徴量を抽出し、次に関連するタグと再一致させることで視覚的特徴量を精緻化する。
• 粗いレベルから細かいレベルまでのマルチグレイン視覚特徴量を活用し、疾患タグに従って顕著な異常領域に注目することで、データバイアスを軽減する。
• 学習されたゲーティング機構を通じて、マルチグレイン疾患ベース特徴量を効果的に統合する「マルチグレインTransformer（MGT）」デコーダーを提案する。
• MGTでは、Transformerアーキテクチャを活用し、長文シーケンスを効果的にモデル化し、整合性があり構造的な医療レポートを生成する。
• AHAとMGTを統合したエンドツーエンドで学習可能なフレームワークを構築し、特徴量表現とレポート生成品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的領域と疾患タグの間の階層的アライメントは、医療画像特徴量における異常領域の表現を向上させることができるか？
• RQ2 疾患に基づく視覚的特徴量の使用は、医療レポート生成におけるデータバイアスの影響を軽減するか？
• RQ3 マルチグレイン特徴量統合機構とTransformerデコーダーを組み合わせることで、長く整合性のある医療レポートを効果的にモデル化できるか？
• RQ4 自動評価指標および人間評価指標において、本手法は最先端のモデルと比較して優れているか？
• RQ5 放射線科医は、既存のモデルと比較して、AlignTransformerが生成するレポートを臨床的妥当性と正確性の面で好むか？

主な発見

• AlignTransformerは、IU-XrayおよびMIMIC-CXRデータセットで最先端の性能を達成し、それぞれBLEU-4スコアが0.173および0.204を記録し、R2GenやPPKEDを含む先行手法を上回った。
• AHAモジュール単体でもベースライン比でBLEU-4が18.8%向上し、異常領域特徴量の捉え込みとデータバイアスの低減の有効性を示した。
• AHAとMGTを統合した完全なAlignTransformerモデルは、R2Genと比較して人間評価で63%の勝率を記録し、放射線科医による臨床的好みの優位性を示した。
• アブレーションスタディの結果、AHAおよびMGTモジュールの両方が性能向上に顕著な寄与をしていることが確認され、MGTは全指標でさらなる向上をもたらした。
• 可視化結果から、AlignTransformerは、左下葉肺胞浸潤や胸膜効果など、稀な異常を正しく特定・記述しており、正常領域の繰り返しや誤った記述を回避していることが確認された。
• 自動評価指標と専門家評価の両方で裏付けられた結果として、本手法は正確で疾患固有の内容を含む、より長く構造的なレポートを効果的に生成できた。