[論文レビュー] IVUS-Net: An Intravascular Ultrasound Segmentation Network

Yang Ji, Tong Lin+2 more|arXiv (Cornell University)|Jun 10, 2018

Coronary Interventions and Diagnostics参考文献 22被引用数 7

ひとこと要約

IVUS-Net は、20 MHz の IVUS B モード画像において、ラミナおよびメディア・アドベントシア境界を自動でセグメンテーションする、完全畳み込みニューラルネットワーク（FCN）であり、後処理による轮廓抽出手順を備えている。最先端の性能を達成し、ラミナのハンズフリー距離を 8%、メディアのハンズフリー距離を 20% まで改善した。現代の GPU で 1 フレームあたり 0.15 秒の高速な処理が可能である。

ABSTRACT

IntraVascular UltraSound (IVUS) is one of the most effective imaging modalities that provides assistance to experts in order to diagnose and treat cardiovascular diseases. We address a central problem in IVUS image analysis with Fully Convolutional Network (FCN): automatically delineate the lumen and media-adventitia borders in IVUS images, which is crucial to shorten the diagnosis process or benefits a faster and more accurate 3D reconstruction of the artery. Particularly, we propose an FCN architecture, called IVUS-Net, followed by a post-processing contour extraction step, in order to automatically segments the interior (lumen) and exterior (media-adventitia) regions of the human arteries. We evaluated our IVUS-Net on the test set of a standard publicly available dataset containing 326 IVUS B-mode images with two measurements, namely Jaccard Measure (JM) and Hausdorff Distances (HD). The evaluation result shows that IVUS-Net outperforms the state-of-the-art lumen and media segmentation methods by 4% to 20% in terms of HD distance. IVUS-Net performs well on images in the test set that contain a significant amount of major artifacts such as bifurcations, shadows, and side branches that are not common in the training set. Furthermore, using a modern GPU, IVUS-Net segments each IVUS frame only in 0.15 seconds. The proposed work, to the best of our knowledge, is the first deep learning based method for segmentation of both the lumen and the media vessel walls in 20 MHz IVUS B-mode images that achieves the best results without any manual intervention. Code is available at https://github.com/Kulbear/ivus-segmentation-icsm2018

研究の動機と目的

• IVUS 画像におけるラミナおよびメディア・アドベントシア境界の両方を自動でセグメンテーションするエンドツーエンドの深層学習パイプラインの開発。
• 分岐部、影、側枝などの一般的なアーチファクトが存在する状況下でも、血管壁を効果的にセグメンテーションする課題への対処。
• 事前学習済み重みや手動の介入に依存せずに、高精度なセグメンテーションを実現すること。
• 高速な推論速度（1 フレームあたり 0.15 秒）を確保することで、リアルタイム応用を可能とすること。
• 従来のコンピュータビジョン手法を上回る、IVUS セグメンテーションのための深層学習ベースラインの確立。

提案手法

• ImageNet の事前学習重みを使用せずに、スクラッチから訓練されたカスタム FCN アーキテクチャ、IVUS-Net を提案。
• エンコーダーとデコーダーのブロック間のスキップ接続を採用し、空間的詳細を保持するとともに境界の局所化精度を向上。
• 特徴表現とセグメンテーション精度を向上させるために、リファインリングブランチを導入。
• 回転、スケーリング、反転などのデータ拡張技術を適用し、モデルのロバスト性と一般化性能を向上。
• 予測されたピクセル単位のマスクを正確な血管壁の輪郭に refining するための後処理による轮廓抽出手順を適用。
• 多様なアーチファクトを含む 326 フレーム分の収縮期フレームを含む、公に提供されている IVUS ベンチマークデータセットを用いて訓練および評価。

実験結果

リサーチクエスチョン

• RQ1 スクラッチから訓練された完全畳み込みネットワークは、最先端の従来の手法と比較して、IVUS 画像におけるラミナおよびメディアのセグメンテーション性能を優れているか？
• RQ2 提案された IVUS-Net アーキテクチャは、トレーニングデータセットに十分に表現されていない分岐部、影、側枝などの困難な IVUS アーチファクトに対しても効果的に対処できるか？
• RQ3 データ拡張は、セグメンテーションモデルの一般化性能およびロバスト性をどの程度向上させるか？
• RQ4 リファインリングブランチの導入により、特にハンズフリー距離の観点から、セグメンテーション精度が顕著に向上するか？
• RQ5 提案されたパイプラインは、臨床応用に適したリアルタイム推論速度を達成できるか？

主な発見

• IVUS-Net は、現在の最先端手法（Faraji et al. [8]）を、ジャッカード測定値で 4%、メディアのセグメンテーションでハンズフリー距離で 20% 以上上回った。
• ラミナではハンズフリー距離が 8%、メディアでは 20% まで改善され、境界の局所化精度が優れていることが示された。
• テストセットでは、ジャッカード測定値がラミナで 0.82、メディアで 0.78、ハンズフリー距離はラミナで 0.50 mm、メディアで 0.82 mm を達成した。
• 未知のアーチファクトに対しても一般化性能が高く、分岐部（44 フレーム）、側血管（93 フレーム）、影（96 フレーム）を含むテストフレームでも良好な性能を発揮した。
• アブレーションスタディにより、データ拡張とリファインリングブランチの両方が、性能向上に顕著な貢献をしていることが裏付けられた。
• パイプラインは、現代の GPU で 1 フレームあたりわずか 0.15 秒で処理を完了し、臨床現場でのリアルタイム利用が可能である。