[論文レビュー] Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization

Weisen Wang, Zhiyan Xu+9 more|arXiv (Cornell University)|Jul 28, 2019

Retinal Imaging and Analysis参考文献 17被引用数 4

ひとこと要約

本稿では、カラー・フンダス画像と光学コherenceトモグラフィ（OCT）画像を用いたエンドツーエンドのマルチモーダル加齢性黄斑ディストロフィー（AMD）分類のため、ローブペアトレーニングを組み込んだ2ストリーム畳み込みニューラルネットワーク（CNN）を提案する。両モダリティからの特徴を統合し、ラベルベースのローブペアリングによるトレーニングデータの増強を実施することで、97.1%の正確性を達成し、先行する最先端手法を著しく上回る。また、マルチモーダルクラス活性化マッピングを用いて視覚的解釈を可能にした。

ABSTRACT

This paper studies automated categorization of age-related macular degeneration (AMD) given a multi-modal input, which consists of a color fundus image and an optical coherence tomography (OCT) image from a specific eye. Previous work uses a traditional method, comprised of feature extraction and classifier training that cannot be optimized jointly. By contrast, we propose a two-stream convolutional neural network (CNN) that is end-to-end. The CNN's fusion layer is tailored to the need of fusing information from the fundus and OCT streams. For generating more multi-modal training instances, we introduce Loose Pair training, where a fundus image and an OCT image are paired based on class labels rather than eyes. Moreover, for a visual interpretation of how the individual modalities make contributions, we extend the class activation mapping technique to the multi-modal scenario. Experiments on a real-world dataset collected from an outpatient clinic justify the viability of our proposal for multi-modal AMD categorization.

研究の動機と目的

• フンダス画像とOCT画像を用いたエンドツーエンドでトレーニング可能なマルチモーダルディープラーニングモデルの不足を解消すること。
• 臨床的マルチモーダルデータセットにおけるペア化されたトレーニングインスタンスの限界を克服すること。
• 単一モダリティおよび既存のマルチモーダルベースラインを上回る分類性能を向上させること。
• 拡張されたクラス活性化マッピング技術を用いて、モダリティの寄与度を視覚的に解釈可能にすること。
• 実臨床外来データセットを用いて本手法の臨床的妥当性を検証すること。

提案手法

• フンダス画像とOCT画像を独立して処理する対称的なブランチを備えた2ストリームCNNを設計し、その後に特徴統合を行う。
• エンドツーエンドトレーニングと解釈可能性を支援するためのカスタム統合層を導入する。
• 解剖学的目のペアではなく、ラベルに基づいてフンダス画像とOCT画像をペアリングするローブペアトレーニングを提案することで、トレーニングデータの多様性を向上させる。
• クラス活性化マッピング（CAM）をマルチモーダル設定に適応させ、予測に寄与する画像領域を可視化する。
• 3クラス分類（正常、乾性AMD、湿性AMD）のための交差エントロピー損失を用いたエンドツーエンドバックプロパゲーションフレームワークでモデルを訓練する。
• 両ストリームにResNet-18をバックボーンネットワークとして採用し、マルチモーダルデータセットでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの2ストリームCNNは、単一モダリティモデルに比べてマルチモーダルAMD分類で優れた性能を示せるか？
• RQ2 ペア化されたデータが限られる状況において、ローブペアトレーニングは有効に利用可能なトレーニングインスタンス数を増加させられるか？
• RQ3 提案手法は、Yooら[16]の最先端マルチモーダルアプローチを上回る正確性を達成できるか？
• RQ4 フンダスとOCTモダリティは最終予測にどのように寄与しているか？また、その寄与度は視覚的に解釈可能か？
• RQ5 フンダスとOCT画像からの補完的情報を効果的に統合できる統合戦略か？

主な発見

• 提案されたマルチモーダルCNNとローブペアトレーニング（MM-CNN-L）は、全体で97.1%の正確性を達成し、先行する最先端手法（82.6%の正確性）を著しく上回った。
• OCT-CNN単一モダリティモデルは94.2%のF1スコアを達成し、マルチモーダルモデルがこれを上回る必要がある強力なベースラインを確立した。
• MM-CNN-Lは、乾性AMDのF1スコアをYooら（-L）の82.8%から95.8%に向上させ、中間AMDステージの検出性能が向上したことを示した。
• 単一モダリティモデルでよく見られる乾性AMDを湿性AMDと誤診する問題が、本手法で軽減された。これは、診断の正確性が向上したことを示している。
• ローブペアトレーニングは、ベースライン手法（Yooら[16]）の全体のF1スコアを83.5%から89.0%に向上させ、一般化可能性の有効性を確認した。
• 拡張されたCAMを用いた視覚的解釈により、フンダスとOCTの両方が予測に有意義に寄与していることが明らかになり、モダリティごとに異なる注目パターンが観察された。