[論文レビュー] Recurrent Aggregation Learning for Multi-View Echocardiographic Sequences Segmentation

Ming Li, Weiwei Zhang+6 more|arXiv (Cornell University)|Jul 24, 2019

Cardiac Valve Diseases and Treatments参考文献 12被引用数 8

ひとこと要約

本稿では、エンド・ツー・エンドのマルチビュー心エコー動画シーケンスのセグメンテーションと分類を目的とした再帰的集約学習（RAL）フレームワークを提案する。ピラミッド型ConvBlocksを用いた多段階・多スケール特徴抽出と、階層的ConvLSTMを用いた空間時間的モデリングにより、セグメンテーションと分類が相互に強化される二重ブランチ集約機構を統合する。本手法は、マルチベンダー・マルチセンターのデータセットにおいて、98.7%の精度、91.9%のDiceスコア、優れた時間的安定性を達成し、最先端の性能を示した。

ABSTRACT

Multi-view echocardiographic sequences segmentation is crucial for clinical diagnosis. However, this task is challenging due to limited labeled data, huge noise, and large gaps across views. Here we propose a recurrent aggregation learning method to tackle this challenging task. By pyramid ConvBlocks, multi-level and multi-scale features are extracted efficiently. Hierarchical ConvLSTMs next fuse these features and capture spatial-temporal information in multi-level and multi-scale space. We further introduce a double-branch aggregation mechanism for segmentation and classification which are mutually promoted by deep aggregation of multi-level and multi-scale features. The segmentation branch provides information to guide the classification while the classification branch affords multi-view regularization to refine segmentations and further lessen gaps across views. Our method is built as an end-to-end framework for segmentation and classification. Adequate experiments on our multi-view dataset (9000 labeled images) and the CAMUS dataset (1800 labeled images) corroborate that our method achieves not only superior segmentation and classification accuracy but also prominent temporal stability.

研究の動機と目的

• 限られたラベル付きデータ、高いノイズ、大きな解剖学的・視点のばらつきが生じる状況下におけるマルチビュー心エコー動画シーケンスセグメンテーションの課題に対処すること。
• 一貫したセグメンテーションと視点分類を同時に実行できるエンド・ツー・エンドのディーブラーニングフレームワークを構築し、耐障害性を向上させること。
• 共同空間時間的モデリングとマルチビュー正則化を通じて、時間的安定性を向上させ、視点間の乖離を低減すること。
• 実世界のマルチベンダー・マルチセンター心エコー動画シーケンスにおいて、優れたセグメンテーション精度と臨床的相関性を達成すること。

提案手法

• 入力心エコー画像から多段階・多スケール特徴を抽出するために、ピラミッド型拡張畳み込み密ブロック（ConvBlocks）を活用する。
• フレーム間の空間時間的依存関係をモデル化するため、階層的ConvLSTMネットワークを用い、エンド・ツー・エンドの形で長距離時間的モデリングを実現する。
• セグメンテーションと分類ブランチが、相互監視を通じて多段階・多スケール特徴を共有・精錬する二重ブランチ集約機構を導入する。
• 視点間の特徴集約を実施することで、異なるベンダーおよび画像診断センター間でのドメインギャップを低減し、一般化性能を向上させる。
• オプティカルフローまたは事前学習モデルに依存せずに、セグメンテーションと分類の目的関数を同時に最適化するエンド・ツー・エンドの学習パイプラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 統合されたディーブラーニングフレームワークは、時間的整合性を保ちながらマルチビュー心エコー動画シーケンスを効果的にセグメンテーションできるか？
• RQ2 空間的・時間的領域で多段階・多スケール特徴をどのように効果的に集約すれば、セグメンテーションの耐障害性が向上するか？
• RQ3 視点の共同分類は、セグメンテーション精度の向上と視点間乖離の低減にどの程度寄与するか？
• RQ4 提案手法は、左室射出分数および体積推定において高い臨床的相関性を達成できるか？

主な発見

• RALはマルチビュー心エコー動画シーケンスデータセットで98.7%の精度と91.9%のDiceスコアを達成し、U-Net、ACNN、U-Net++を顕著に上回った。
• CAMUSデータセットでは、エンドディアストリック体積に対してピアソン相関係数r = 0.952、エンドシスティリック体積に対してr = 0.960、射出分数に対してr = 0.839を示し、高い臨床的相関性を示した。
• エンドディアストリック体積の平均絶対誤差が8.8 ml、エンドシスティリック体積が7.1 mlであり、バイアスはそれぞれ-7.5 mlおよび-3.8 mlであった。
• 時間的安定性が顕著で、心拍周期全体で精度およびDiceスコアの変動が最小限に抑えられていたが、中間サイクルフレームでやや顕著な変動が見られた。
• 分類精度が0.933と最高を記録し、共有特徴学習による効果的なマルチビュー識別が実証された。
• 二重ブランチ集約機構により、視点間ギャップが顕著に低減し、異種データソース間でのセグメンテーションの一貫性が向上した。