[論文レビュー] Learning Cross-Modal Deep Representations for Multi-Modal MR Image Segmentation

Cheng Li, Hui Sun+4 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Neural Network Applications参考文献 13被引用数 4

ひとこと要約

本論文は、注目に基づく、マスターモダリティ駆動型情報選択を用いた教師ありクロスマodal特徴統合手法を提案する。マスターモダリティ（例：T1強化MRI）を用いて補助モダリティ（例：T2強調MRI）の注目ベース統合をガイドすることで、関連する特徴を強調し、ノイズを抑制する。これにより、乳がん巣のセグメンテーションにおいて、Diceスコア84.4±0.7を達成し、最先端の性能を発揮した。

ABSTRACT

Multi-modal magnetic resonance imaging (MRI) is essential in clinics for comprehensive diagnosis and surgical planning. Nevertheless, the segmentation of multi-modal MR images tends to be time-consuming and challenging. Convolutional neural network (CNN)-based multi-modal MR image analysis commonly proceeds with multiple down-sampling streams fused at one or several layers. Although inspiring performance has been achieved, the feature fusion is usually conducted through simple summation or concatenation without optimization. In this work, we propose a supervised image fusion method to selectively fuse the useful information from different modalities and suppress the respective noise signals. Specifically, an attention block is introduced as guidance for the information selection. From the different modalities, one modality that contributes most to the results is selected as the master modality, which supervises the information selection of the other assistant modalities. The effectiveness of the proposed method is confirmed through breast mass segmentation in MR images of two modalities and better segmentation results are achieved compared to the state-of-the-art methods.

研究の動機と目的

• 深層学習を用いた多モダリティMRIセグメンテーションにおいて、ノイズが多く不適切な特徴統合が生じる課題に対処すること。
• 異なるMRIシーケンス（例：T1強化およびT2強調）からの補完的情報を選択的に統合することで、セグメンテーション精度を向上させること。
• 特に棘状または明確に定義されていない病変に対して、誤検出（偽陽性および偽陰性）を低減すること。
• 1つのモダリティが他のモダリティの特徴選択を監督するように、学習可能な注目ベースの統合メカニズムを構築すること。
• 313例の臨床的実データセット（2つのMRIシーケンス）を用いて、既存の統合戦略を上回ることを実証すること。

提案手法

• マスターストリームとして指定された1つのモダリティと、他のモダリティをアシスタントストリームとして使用するマルチストリームU-Netアーキテクチャを採用する。
• マスターモダリティに注目ブロックを適用し、マスターストリームおよびアシスタントストリームにおける特徴選択をガイドする監視信号を生成する。
• マスターモダリティの注目マップを用いて、複数のエンコーダーレイヤーで、すべてのモダリティからの特徴を重み付け・精錬する。
• 学習可能な注目ベースの連結または要素ごとの重み付けを用いて特徴統合を実施し、単純な加算や連結を置き換える。
• マスターモダリティの予測がアシスタントモダリティストリームの学習をガイドする教師あり損失関数を用いて、ネットワークをエンドツーエンドで訓練する。
• 臨床的関連性や性能に基づいてマスターモダリティを再定義することで、他の多モダリティ医療画像処理タスクへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的な連結や加算戦略と比較して、注目ベースでマスターモダリティに従う特徴統合は、多モダリティMRIにおけるセグメンテーション精度を向上させるか？
• RQ2 高い性能を示す1つのモダリティ（例：T1強化）を監視信号として用いることで、補完的だが性能が低いモダリティ（例：T2強調）における特徴学習が向上するか？
• RQ3 提案手法は、特に挑戦的である棘状の病変において、偽陽性および偽陰性を低減できるか？
• RQ4 注目メカニズムは、異なるモダリティ間で関連領域をどのように局在化させ、不要またはノイズの多い特徴を抑制するか？
• RQ5 本手法は、乳がんMRIを越えて、他の多モダリティ医療画像セグメンテーションタスクにも一般化可能か？

主な発見

• 提案手法は、FuseNet、FuseUNet、およびラテン/イアリーフュージョンベースラインをすべて上回るDice類似係数84.4±0.7を達成した。
• ベースラインモデルと比較して、偽陽性が10–15%低減された。これは、例として図4の2番目および3番目の例で視覚的に確認された。
• T1強化モダリティの注目マップは、がん巣領域を的確に局在化した（図5の赤矢印）。一方、T2強調ストリームは、関連のない領域を強調する傾向にあった（青矢印）。これは、監視の必要性を裏付けた。
• 本手法は、すべての手法の中で最小の偽陰性率（30.9±1.6%）を達成し、小さなまたは不規則ながん巣の検出能力が向上したことを示した。
• 提案手法における注目ブロックの導入により、FuseUNet + SAと比較してDiceスコアが1.3%向上した。これは、監視メカニズムの有効性を示している。
• モデルはパラメータ数がわずか26.7Mに抑えられ、計算コストの大幅な増加なしに性能向上を達成した。