[論文レビュー] Multi-Planar Deep Segmentation Networks for Cardiac Substructures from MRI and CT

Aliasghar Mortazi, Jeremy R. Burt+1 more|arXiv (Cornell University)|Aug 3, 2017

Advanced Neural Network Applications参考文献 7被引用数 12

ひとこと要約

本論文は、MRIおよびCTスキャンの両方から7つの心臓構造（例：左室、心筋、大動脈など）を正確にエンドツーエンドでセグメンテーション可能なマルチプレーン深層学習フレームワーク、MO-MP-CNNを提案する。軸方向、冠状方向、矢状方向の3つの平面に対して個別に2次元畳み込みニューラルネットワーク（CNN）を学習し、適応的統合戦略を適用することで、CTでは0.90、MRIでは0.85の高いDiceスコアを達成した。GPUを用いた推論時間はCTで約50秒、MRIで約17秒であった。

ABSTRACT

Non-invasive detection of cardiovascular disorders from radiology scans requires quantitative image analysis of the heart and its substructures. There are well-established measurements that radiologists use for diseases assessment such as ejection fraction, volume of four chambers, and myocardium mass. These measurements are derived as outcomes of precise segmentation of the heart and its substructures. The aim of this paper is to provide such measurements through an accurate image segmentation algorithm that automatically delineates seven substructures of the heart from MRI and/or CT scans. Our proposed method is based on multi-planar deep convolutional neural networks (CNN) with an adaptive fusion strategy where we automatically utilize complementary information from different planes of the 3D scans for improved delineations. For CT and MRI, we have separately designed three CNNs (the same architectural configuration) for three planes, and have trained the networks from scratch for voxel-wise labeling for the following cardiac structures: myocardium of left ventricle (Myo), left atrium (LA), left ventricle (LV), right atrium (RA), right ventricle (RV), ascending aorta (Ao), and main pulmonary artery (PA). We have evaluated the proposed method with 4-fold-cross validation on the multi-modality whole heart segmentation challenge (MM-WHS 2017) dataset. The precision and dice index of 0.93 and 0.90, and 0.87 and 0.85 were achieved for CT and MR images, respectively. While a CT volume was segmented about 50 seconds, an MRI scan was segmented around 17 seconds with the GPUs/CUDA implementation.

研究の動機と目的

• MRIおよびCTスキャンの両方からすべての主要な心臓構造をセグメンテーションできる統合された深層学習フレームワークの開発を目的とする。
• 3次元医療画像データの限界に直面する中で、3次元ネットワークではなく、直交する複数の平面で学習された2次元CNNを活用することで、3次元画像データの不足を補う。
• 異なる画像平面からの予測を動的に統合する適応的統合戦略を用いることで、セグメンテーションの正確性を向上させる。
• データおよびハードウェア制約の下でも、モダリティを問わず高い効率性と頑健性を実現する。
• 従来の単一構造（例：左室や左房）に焦点を当てた研究を拡張し、マルチ構造・マルチモダリティの全心臓セグメンテーションを実現する。

提案手法

• 本手法は、軸方向、冠状方向、矢状方向の3つの異なる平面それぞれに対して、独立した2次元畳み込みニューラルネットワーク（CNN）を用い、モダリティに特化したデータからそれぞれをスクラッチから学習する。
• 各2次元CNNは、12層の畳み込み層とスキップ接続を備えたエンコーダ・デコーダアーキテクチャを採用し、正確なボクセル単位のラベリングを可能にするための空間的詳細を保持する。
• ランクに基づく適応的統合戦略を用いて、3つの平面からの確率マップを統合し、各構造ごとに予測の信頼性と一貫性に基づいて最適な統合重みを選択する。
• 一般化性能の向上を図るため、ランダムズーミング（1.1–1.3倍）、回転（±45°）、ヒストグラムマッチングなどのデータ拡張技術を用いた。特にMRIでは、強度非一様性を低減する目的で活用された。
• モデルは、MM-WHS 2017データセットを用い、4分割交差検証法で学習した。CT用（123例）およびMRI用（123例）の別々の学習セットを用意した。
• 推論はTensorFlowを用いたNVIDIA TitanXp GPUを活用して高速化され、全心臓ボリュームのリアルタイムセグメンテーションが可能になった。

実験結果

リサーチクエスチョン

• RQ1 マルチプレーン2次元CNNフレームワークは、MRIおよびCTの両モダリティで7つの心臓構造を高精度にセグメンテーションできるか？
• RQ2 複数の画像平面からの予測を統合する適応的統合戦略は、セグメンテーションの頑健性と正確性を向上させるためにどれほど効果的か？
• RQ3 限られたデータからスクラッチで学習した2次元CNNは、従来のアトラスベース法や単一モダリティの深層学習手法を上回る性能を示せるか？
• RQ4 データおよびハードウェア制約の下で、2次元CNNと3次元CNNを比較した場合、推論速度とセグメンテーション正確性のトレードオフはどのようなものか？
• RQ5 モダリティに特化した前処理（例：MRIのヒストグラムマッチング）は、セグメンテーション性能をどの程度向上させるか？

主な発見

• 提案されたMO-MP-CNNは、全7つの心臓構造でCTでは平均Diceインデックス0.90、MRIでは0.85を達成し、高いセグメンテーション正確性を示した。
• CTでは平均感受性（sensitivity）が0.866、MRIでは0.831であり、精度（precision）はCTで0.929、MRIで0.868であった。これは、良好な検出および局在性能を示している。
• 表面間距離（S2S）は、MRIで平均1.450 mm、CTで1.551 mmであり、予測されたセグメンテーションと正解との間で解剖学的に近い一致を示した。
• 複数のGPUを用いた推論では、MRIで約17秒、CTで約50秒で全心臓セグメンテーションが完了し、CPUベースの推論（それぞれ8分および30分）を著しく上回った。
• 適応的統合戦略により、右心室や肺動脈など複雑な構造のセグメンテーションの一貫性が向上し、誤分類が減少した。
• モデルはモダリティをまたいで優れた一般化性能を示し、特異度（>0.998）が高く、特に困難な解剖的領域においても頑健であった。定性的な結果（図4）からもその有効性が示された。