[論文レビュー] Deep Segmentation and Registration in X-Ray Angiography Video

Athanasios Vlontzos, Krystian Mikolajczyk|arXiv (Cornell University)|May 16, 2018

Advanced Neural Network Applications参考文献 15被引用数 12

ひとこと要約

本論文は、自動生成されたノイズのあるアノテーションを用いて、X線アンギオグラフィー動画におけるマルチクラスセマンティックセグメンテーションの弱教師あり、リアルタイムのディープラーニング手法を提案する。低レベルのバイナリセグメンテーションとオプティカルフローをシアンプル・U-Netアーキテクチャで統合することで、最先端のU-Netよりも20%高い精度を達成し、90 fpsで処理可能となり、臨床現場でのリアルタイム利用が可能になる。

ABSTRACT

In interventional radiology, short video sequences of vein structure in motion are captured in order to help medical personnel identify vascular issues or plan intervention. Semantic segmentation can greatly improve the usefulness of these videos by indicating exact position of vessels and instruments, thus reducing the ambiguity. We propose a real-time segmentation method for these tasks, based on U-Net network trained in a Siamese architecture from automatically generated annotations. We make use of noisy low level binary segmentation and optical flow to generate multi class annotations that are successively improved in a multistage segmentation approach. We significantly improve the performance of a state of the art U-Net at the processing speeds of 90fps.

研究の動機と目的

• 手動アノテーションが限られる医療動画セグメンテーションの課題に対処するため、手動の真値ではなく自動生成されたラベルを用いた弱教師あり学習を可能にする。
• 低コントラストでノイズの多いX線アンギオグラフィー動画における血管および器具のセグメンテーション精度を向上させる。
• 介入的レントゲン診断における臨床的導入を可能にするために、リアルタイム推論（90 fps）を達成する。
• 時間的整合性を向上させるために、シアンプルネットワークアーキテクチャを活用し、フレーム間でのセグメンテーション安定性を強化する。
• 手動アノテーションのコストを削減するため、バイナリセグメンテーションとオプティカルフローからマルチクラスラベルを生成する。

提案手法

• バイナリセグメンテーションの初期生成には、ブラックトップハットフィルタリングと連結成分を用い、血管およびカテーテル候補を抽出する。
• 連続フレーム間のオプティカルフローを計算し、動きベクトルを推定することで、空間的・時間的整合性を向上させる。
• 共有重みをフレームペア間で使用するシアンプル・U-Netアーキテクチャを、自動生成されたマルチクラスアノテーション上で端末から端末へと訓練する。
• 手動の真値ではなく、ノイズのある自動生成ラベルを用いて弱教師あり学習を実施する。
• ネットワークの予測結果を用いてラベル提案を段階的に改善する反復的プロセスにより、セグメンテーション品質を向上させる。
• 実アンギオグラフィー動画における動きの変動に耐性を高めるために、回転および平行移動を用いたデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 低レベルの画像処理およびオプティカルフローから得られる自動生成・ノイズ混在のラベルを、手動アノテーションが存在しない状況で、ディープセグメンテーションネットワークの学習に効果的に利用できるか。
• RQ2 シアンプル・U-Netアーキテクチャは、動的で低コントラストなX線アンギオグラフィー動画において、時間的整合性とセグメンテーション精度を向上させられるか。
• RQ3 真値が限られる状況で、合成ラベルを用いた弱教師あり学習が、完全教師ありU-Netをどれほど上回れるか。
• RQ4 臨床的介入的設定において、高精度なセグメンテーションを実現するリアルタイム推論（90 fps）が可能か。
• RQ5 動きに特化した変換を用いたデータ拡張は、動的アンギオグラフィー動画におけるセグメンテーション性能にどのように影響するか。

主な発見

• 弱教師あり学習で訓練されたシアンプル・U-Netは、バイナリセグメンテーションでDiceスコア0.98を達成し、U-Netや連結成分フィルタリングといったベースライン手法を上回った。
• マルチクラスセグメンテーションにおいて、回転のみを用いた拡張（Augm_2）を施した本手法のシアンプル・U-Netは、カテーテルで0.69、血管で0.54のDiceスコアを達成し、元のU-Netよりも20%の向上を示した。
• 本手法は90フレーム/秒でアンギオグラフィー動画を処理でき、臨床現場でのリアルタイム利用に適している。
• オプティカルフローと動きベクトルの使用により、非剛性変形が大きいフレーム間でも、時間的整合性とセグメンテーション精度が顕著に向上した。
• 最も優れた性能を示したモデルは、完全に自動生成されたアノテーションのみを用いており、高価な手動ラベリングの必要を排除した。
• 連結成分後処理と回転のみの拡張を施したシアンプル・U-Netが、最高の全体的性能を達成し、提案されたトレーニングパイプラインの有効性を示した。