[論文レビュー] TandemNet: Distilling Knowledge from Medical Images Using Diagnostic Reports as Optional Semantic References

Zizhao Zhang, Pingjun Chen+2 more|arXiv (Cornell University)|Aug 10, 2017

Multimodal Machine Learning Applications参考文献 13被引用数 3

ひとこと要約

TandemNet は、二重アテンションメカニズムを用いて診断レポートと医用画像を統合するマルチモーダルディープラーニングフレームワークであり、疾患分類の精度を向上させるとともに予測の解釈可能性を提供する。画像と意味特徴を同時に学習することで、BCIDR データセットで最先端の性能を達成し、アテンションマップを用いた正確な画像専用推論とレポート生成を可能にする。

ABSTRACT

In this paper, we introduce the semantic knowledge of medical images from their diagnostic reports to provide an inspirational network training and an interpretable prediction mechanism with our proposed novel multimodal neural network, namely TandemNet. Inside TandemNet, a language model is used to represent report text, which cooperates with the image model in a tandem scheme. We propose a novel dual-attention model that facilitates high-level interactions between visual and semantic information and effectively distills useful features for prediction. In the testing stage, TandemNet can make accurate image prediction with an optional report text input. It also interprets its prediction by producing attention on the image and text informative feature pieces, and further generating diagnostic report paragraphs. Based on a pathological bladder cancer images and their diagnostic reports (BCIDR) dataset, sufficient experiments demonstrate that our method effectively learns and integrates knowledge from multimodalities and obtains significantly improved performance than comparing baselines.

研究の動機と目的

• トレーニング中に診断レポートを意味的リファレンスとして組み込むことで、医療画像分類の解釈可能性と正確性を向上させること。
• 画像とレポートから同時に学習するマルチモーダルニューラルネットワークを構築し、画像駆動および画像・テキスト共同駆動の推論を可能にすること。
• 関連する画像領域とレポートセグメントを強調する視覚的およびテキスト的アテンションマップを通じて、説明可能な予測を提供すること。
• ファインチューニングされた言語モデリングを用いて、画像からのエンドツーエンドのレポート生成を可能にし、臨床的有用性を高めること。
• 推論時にテキスト入力を有する・なしの両方でテストすることで、モデルの頑健性と一般化性能を検証すること。

提案手法

• 画像エンコーダとしてワイド残差ネットワーク（WRN）を用い、サイズ $14 \times 14 \times C$ の特徴マップを視覚的表現 $\bm{V}$ として抽出する。
• LSTM を用いた言語モデルを採用し、診断レポートを行列 $\bm{S} \in \mathbb{R}^{D \times N}$ に符号化する。ここで各列は特徴記述を表す。
• 視覚的特徴 $\bm{V}$ と意味的特徴 $\bm{S}$ 間のクロスモダリティアテンションを計算する二重アテンション機構を導入し、コンテキストベクトル $\bm{c}$ を生成する。
• 画像とテキスト両方の特徴に条件づけられた、視覚的特徴マップ上の学習可能なアテンションマップ $\bm{\alpha}$ を適用し、顕著な画像領域を強調する。
• コンテキストベクトル $\bm{c}$ の上にマルチレイヤーパーセプトロン（MLP）ヘッドを設け、最終的な分類を実行する。残差接続により視覚的特徴の整合性を保持する。
• バックプロパゲーションスルータイム（BPTT）を用いて、視覚的特徴から診断レポートを生成するように、ネットワーク全体をファインチューニングする。初期トレーニング段階では CNN および二重アテンションモジュールを固定する。

実験結果

リサーチクエスチョン

• RQ1 診断レポートをオプションの意味的リファレンスとして効果的に活用することで、医療画像分類の正確性と解釈可能性を向上させることができるか？
• RQ2 二重アテンション機構は、マルチモーダルネットワークにおける視覚的およびテキスト的モダリティ間の特徴抽出をどのように向上させるか？
• RQ3 画像とレポートの両方で学習したモデルが、推論時にテキストが利用できない状況でも高い性能を維持できるか、その程度はどの程度か？
• RQ4 モデルは画像のみから臨床的に関連性のある診断レポートの記述を生成できるか？また、専門家がアノテートしたレポートと比較して、その品質はどの程度か？
• RQ5 どの画像およびテキスト特徴が特定の疾患ラベルに対して予測に寄与しているか？また、アテンションマップは病理医の臨床的推論を反映しているか？

主な発見

• TandemNet は、BCIDR データセットにおいてベースラインモデルと比較して顕著に高い分類精度を達成し、テキスト入力なしでテストした際、ResNet16-4 よりも 4% の性能向上を示した。
• テキスト入力なしでも、モデルは強力な視覚的アテンション性能を維持しており、二重アテンション機構が視覚的特徴の有用性を独立に保持していることを示している。
• テキストアテンションマップは非常に選択的であり、細胞の密集や核の多形性といった臨床的関連特徴に集中しており、高リスク疾患ラベルと強く相関している。
• t-SNE 可視化により、トレーニング時にテキストが使用された場合、MLP の入力がより良いクラスタリングを示していることが確認され、特徴表現学習の向上が裏付けられた。
• TandemNet が生成した診断レポートは、病理医がアノテートしたレポートと強く一致しており、図 6 の緑色テキスト結果が黒色テキストの専門家記述とよく一致している。
• トレーニング時の最適なテキストドロップレートは 0.5 であり、テキスト依存性と欠損レポートに対する頑健性のバランスを最適化し、テキストあり・なしの両推論設定で最高のパフォーマンスを発揮した。