[論文レビュー] Extracting 3D Vascular Structures from Microscopy Images using Convolutional Recurrent Networks

Russell Bates, Benjamin Irving+5 more|arXiv (Cornell University)|May 26, 2017

Medical Image Segmentation Techniques参考文献 18被引用数 14

ひとこと要約

本論文では、2次元血管中心線予測にU-Netを用い、非等方的顕微鏡画像から3次元血管構造を再構築するためのハイブリッド2D-3Dディープラーニングフレームワークを提案する。この手法は、直接骨格表現を学習することで3D CNNおよび2Dベースラインを上回り、平均骨格距離誤差5.31 µmを達成し、密に配置された血管の分離性能が向上した。

ABSTRACT

Vasculature is known to be of key biological significance, especially in the study of cancer. As such, considerable effort has been focused on the automated measurement and analysis of vasculature in medical and pre-clinical images. In tumors in particular, the vascular networks may be extremely irregular and the appearance of the individual vessels may not conform to classical descriptions of vascular appearance. Typically, vessels are extracted by either a segmentation and thinning pipeline, or by direct tracking. Neither of these methods are well suited to microscopy images of tumor vasculature. In order to address this we propose a method to directly extract a medial representation of the vessels using Convolutional Neural Networks. We then show that these two-dimensional centerlines can be meaningfully extended into 3D in anisotropic and complex microscopy images using the recently popularized Convolutional Long Short-Term Memory units (ConvLSTM). We demonstrate the effectiveness of this hybrid convolutional-recurrent architecture over both 2D and 3D convolutional comparators.

研究の動機と目的

• 腫瘍血管の高分解能z方向に劣る非等方的顕微鏡画像から3次元血管構造を抽出する課題に対処すること。
• 密集したまたは不規則に灌注される腫瘍血管に対して失敗する伝統的なセグメンテーション-スケルトン化パイプラインの限界を克服すること。
• 灌注状態や対比剤の有無に依存せず、直接的に血管骨格を抽出する手法を開発すること。
• 完全な3次元畳み込みを用いずに3次元コンテキストを活用することで、3次元血管トポロジーの回復を向上させ、モデルの複雑さを低減すること。
• 2Dと3D CNNの両方を上回る骨格再構築精度を示す、ConvLSTMを用いたハイブリッド2D-3Dアーキテクチャが有効であることを実証すること。

提案手法

• 2次元軸方向スライス上で学習するU-Netベースのエンコーダデコーダネットワークを、バイナリクロスエントロピーとDice損失関数を用いて血管中心線（骨格）を予測するように訓練する。
• U-Netの上にConvLSTM層をスタックし、隣接するzスライス間の順序的依存関係をモデル化することで、2次元予測から3次元構造を再構築可能にする。
• 予測された骨格点と真値骨格点の3次元空間における距離を最小化するように、ネットワークをエンドツーエンドで訓練する。
• アーキテクチャは、平面内特徴抽出に2次元畳み込みを、スライス間コンテキストを効率的にモデル化するためのConvLSTMによる3次元畳み込みを用いる。
• 主な最適化目的として重み付きバイナリクロスエントロピー損失が用いられ、Diceベースの損失は比較ベースラインとして用いられる。
• 完全な3次元畳み込みを回避することで、パラメータ数と計算コストを低減しつつ、3次元構造認識能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 2次元U-Netに3次元再帰的モジュール（ConvLSTM）を組み合わせたアーキテクチャは、非等方的顕微鏡データから3次元血管骨格を効果的に再構築できるか？
• RQ2 直接的に血管骨格を学習することは、密集・不規則な腫瘍血管において、従来のセグメンテーション-スケルトン化パイプラインを上回るか？
• RQ3 ハイブリッド2D-3Dアーキテクチャは、完全な3D U-Netと比較して骨格精度とモデル複雑さの両面で優れているか？
• RQ4 希な骨格的真値に対して学習する際、どの損失関数が最も効果的か？
• RQ5 軽量な2D+ConvLSTMモデルは、小規模なバイオメディカルデータセットにおいて効果的に一般化可能であり、過学習を回避できるか？

主な発見

• U-Net2D+ConvLSTM (S)バージョンが5.31 µmという最小の骨格距離誤差を達成し、3D U-Net（7.53 µm）および2D U-Net（6.53 µm）を上回った。
• U-Net2D+ConvLSTM (S)は99%のノードカバレッジを達成し、2D U-Net（98%）および3D U-Net（92%）を著しく上回った。
• 重み付きバイナリクロスエントロピー損失が最良の結果をもたらしたが、Diceベースの損失は希な骨格に対する意味のある表現を学習できなかった。
• 1つのConvLSTM層の追加によりモデルパラメータが約30%増加したが、3次元畳み込みの計算負荷を伴わず3次元構造学習が可能になった。
• 浅いU-Net2D+ConvLSTMバージョンは、小規模データセットにおける一般化性能が向上しており、これはおそらくその結果である。
• 定性的な結果では、2D U-Netは高密度領域で誤った接続を生成したが、2D+ConvLSTMモデルは3次元的に非接続血管を正しく分離した。