[論文レビュー] TAN: Temporal Affine Network for Real-Time Left Ventricle Anatomical Structure Analysis Based on 2D Ultrasound Videos

Sihong Chen, Kai Ma+1 more|arXiv (Cornell University)|Apr 1, 2019

Cardiac Valve Diseases and Treatments参考文献 29被引用数 7

ひとこと要約

本稿では、2次元心エコー動画におけるリアルタイム左室（LV）セグメンテーションを向上させる軽量な時間的アフィンネットワークTANを提案する。時間的整合性を活用することで、光流体誘導付きアノテーション精錬とランドマーク検出・心筋平面分類のためのマルチタスク学習を実現する。本手法は52 fpsで91.14%のDiceスコアを達成し、ぼやけた境界やアーチファクトを伴う困難なケースにおいても、動きの整合性と耐障害性が著しく向上する。

ABSTRACT

With superiorities on low cost, portability, and free of radiation, echocardiogram is a widely used imaging modality for left ventricle (LV) function quantification. However, automatic LV segmentation and motion tracking is still a challenging task. In addition to fuzzy border definition, low contrast, and abounding artifacts on typical ultrasound images, the shape and size of the LV change significantly in a cardiac cycle. In this work, we propose a temporal affine network (TAN) to perform image analysis in a warped image space, where the shape and size variations due to the cardiac motion as well as other artifacts are largely compensated. Furthermore, we perform three frequent echocardiogram interpretation tasks simultaneously: standard cardiac plane recognition, LV landmark detection, and LV segmentation. Instead of using three networks with one dedicating to each task, we use a multi-task network to perform three tasks simultaneously. Since three tasks share the same encoder, the compact network improves the segmentation accuracy with more supervision. The network is further finetuned with optical flow adjusted annotations to enhance motion coherence in the segmentation result. Experiments on 1,714 2D echocardiographic sequences demonstrate that the proposed method achieves state-of-the-art segmentation accuracy with real-time efficiency.

研究の動機と目的

• 2次元心エコー動画における正確でリアルタイムな左室（LV）セグメンテーションの課題に取り組む。動的な形状変化、低コントラスト、画像アーチファクトの影響により困難である。
• Lucas-Kanade光流体を用いた新規の時間的整合性モジュール（TCM）を用いて、心動周期にわたる時間的ダイナミクスをモデル化することで、セグメンテーションの動きの整合性を向上させる。
• 共通エンコーダーを用いたLVセグメンテーション、ランドマーク検出、心筋平面認識の共同学習により、セグメンテーションの耐障害性と正確性を向上させる。
• 軽量なMobileNetV2バックボーンとエンドツーエンド学習を採用することで、標準ハードウェア上で臨床応用に適したリアルタイム推論効率を実現する。

提案手法

• TANフレームワークは、LVセグメンテーション、僧帽弁ランドマーク検出、心筋平面分類を共通エンコーダーを用いて共同学習するマルチタスク学習設定を採用し、一般化性能と監視の質を向上させる。
• 各フレームに、前フレームの予測されたLVランドマーク（心尖部および2つの僧帽弁輪点）を用いた時間的アフィン変換を適用することで、心動脈の動きに起因する形状・サイズの変動を安定化させる。
• 時間的整合性モジュール（TCM）は、Lucas-Kanade光流体を用いて訓練中に隣接フレーム間の動きの一貫性を強制することで、教師データのアノテーションを精錬する。
• 最適なハード例マイニング（OHEM）を適用し、難易度の高い境界領域に注目することで、ノイズや曖昧な領域におけるセグメンテーション正確性を向上させる。
• 軽量なMobileNetV2バックボーンを用いてエンドツーエンド学習することで、標準ハードウェア上でのリアルタイム推論性能を確保する。
• 推論は1フレームあたり1回の順伝播で高速化され、GPU上では52 fpsを達成し、U-NetやPSPNetと比較してCPU上では20倍以上の高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランドマーク検出や心筋平面分類といった関連タスク間で表現を共有する統合的マルチタスクネットワークは、LVセグメンテーションの正確性を向上させることができるか？
• RQ2 光流体に基づくアノテーション精錬は、心動周期にわたるLVセグメンテーションの時間的整合性を向上させるのにどの程度有効か？
• RQ3 時間的アフィン変換は、心動脈の動きに起因する形状・サイズの変動に対する感受性をどの程度低減するか？
• RQ4 軽量ネットワークは、リアルタイム推論速度を維持しつつ、最先端のセグメンテーション性能を達成できるか？

主な発見

• 提案されたTANフレームワークは、1枚のGPU上で52 fpsのリアルタイム推論を維持しながら、LVセグメンテーションで91.14%のDice係数を達成し、既存手法を上回る正確性を示した。
• 時間的整合性モジュール（TCM）は、最も困難な上位10%のケースにおいてDiceスコアをほぼ10%向上させ、ぼやけた境界やアーチファクトを伴う困難なフレームにおける耐障害性の向上を顕著に示した。
• TCM導入により、ASD（平均表面距離）は37%から48%に向上し、セグメンテーションの輪郭整合性が向上し、外れ値エラーが減少した。
• TCMを用いることで、U-Net、PSPNet、MobileNetV2の各モデルでSI（セグメンテーションインデックス）が16–22%向上し、動き追跡における時間的整合性の向上を確認した。
• マルチタスク学習設定により、ランドマーク検出と平面分類の正確性が単一タスクベースラインと比較して10%以上向上（分類正確度98.25% vs. 87.13%）した。
• TANはTesla P40 GPU上で52 fpsの推論を達成し、U-NetやPSPNetと比較してCPU上では20倍以上の高速化を実現した。臨床応用に適した強力なリアルタイム効率性を示した。