[論文レビュー] Focal FCN: Towards Small Object Segmentation with Limited Training Data.

Xiao-Yun Zhou, Mali Shen+3 more|arXiv (Cornell University)|Nov 4, 2017

Aortic aneurysm repair treatments被引用数 12

ひとこと要約

本論文は、2Dフラuroスコピー画像内の5種類のカスタムマーカー形状をセグメンテーションするために等重みフォーカルU-Netを用いた、ロボット支援末梢血管アーテリオグラフィー修復におけるステントグラフトの自動3次元形状インスタンシエーション手法を提案する。平均mIoUは0.6943に達し、81.01%のマーカーが中心位置誤差1.6mm未満を示しており、ハイパーパramータチューニングを低減することで、リアルタイムの3次元ナビゲーションとロボットパスプランニングを可能にする。

ABSTRACT

Robot-assisted Fenestrated Endovascular Aortic Repair (FEVAR) is currently navigated by 2D fluoroscopy which is insufficiently informative. Previously, a semi-automatic 3D shape instantiation method was developed to instantiate the 3D shape of a main, deployed, and fenestrated stent graft from a single fluoroscopy projection in real-time, which could help 3D FEVAR navigation and robotic path planning. This proposed semi-automatic method was based on the Robust Perspective-5-Point (RP5P) method, graft gap interpolation and semi-automatic multiple-class marker center determination. In this paper, an automatic 3D shape instantiation could be achieved by automatic multiple-class marker segmentation and hence automatic multiple-class marker center determination. Firstly, the markers were designed into five different shapes. Then, Equally-weighted Focal U-Net was proposed to segment the fluoroscopy projections of customized markers into five classes and hence to determine the marker centers. The proposed Equally-weighted Focal U-Net utilized U-Net as the network architecture, equally-weighted loss function for initial marker segmentation, and then equally-weighted focal loss function for improving the initial marker segmentation. This proposed network outperformed traditional Weighted U-Net on the class-imbalance segmentation in this paper with reducing one hyper-parameter - the weight. An overall mean Intersection over Union (mIoU) of 0.6943 was achieved on 78 testing images, where 81.01% markers were segmented with a center position error <1.6mm. Comparable accuracy of 3D shape instantiation was also achieved and stated. The data, trained models and TensorFlow codes are available on-line.

研究の動機と目的

• ロボット支援FEVARにおける2Dフラuroスコピーを用いたステントグラフトの自動3次元形状インスタンシエーションを可能にし、マニュアルによるマーカー検出の限界を克服すること。
• 限られたトレーニングデータにおいて、マーカー分類のクラス不均衡を改善することで、セグメンテーション性能を向上させること。
• 損失関数におけるマニュアルウェイトチューニングの必要性を排除するため、等重みフォーカル損失戦略を導入すること。
• 正確な3次元再構成とリアルタイムナビゲーションを実現するため、高精度なマーカー中心位置検出を達成すること。

提案手法

• マーカーの識別性とセグメンテーション精度を向上させるために、5種類の異なるマーカー形状を設計した。
• U-Netアーキテクチャとフォーカル損失関数を組み合わせた等重みフォーカルU-Netを開発した。
• 初期段階では等重み交差エントロピー損失を用い、その後、まれなまたは小さなマーカークラスのセグメンテーションを改善するため、等重みフォーカル損失を適用した。
• セグメンテーションされたマーカークラスから自動的にマーカー中心位置を検出することで、3次元形状インスタンシエーションパイプラインの完全自動化を実現した。
• カスタムマーカーを搭載した78枚のテストフラuroスコピー画像を用いて、ネットワークをトレーニングおよび評価した。
• トレーニング済みモデル、データ、およびTensorFlowコードを公開しており、再現性とさらなる研究を促進している。

実験結果

リサーチクエスチョン

• RQ1 限られたデータ環境下で、自動マーカー分類手法が末行動脈内治療における3次元形状インスタンシエーション精度を向上させられるか？
• RQ2 等重みフォーカル損失関数は、従来の重み付き損失関数と比較して、小さなマーカー分類におけるクラス不均衡の処理にどのように優れているか？
• RQ3 提案手法は、高いセグメンテーション性能を維持しつつ、ハイパーパramータチューニングをどの程度低減できるか？
• RQ4 自動マーカー中心位置検出は、臨床用途に耐える3次元再構成のためのサブミリメートル精度を達成できるか？

主な発見

• 提案された等重みフォーカルU-Netは、78枚のテスト画像において平均交差率（mIoU）0.6943を達成し、優れたセグメンテーション性能を示した。
• セグメンテーションされたマーカーの81.01%が中心位置誤差1.6mm未満であり、高い局在精度を示した。
• 従来の重み付きU-Netよりもクラス不均衡分類タスクで優れた性能を示し、マニュアルウェイトチューニングの必要性を低減した。
• 半自動手法と同等の3次元形状インスタンシエーション精度を達成しており、臨床的応用の可能性を裏付けた。
• 1つのハイパーパramータ（クラスウェイト）を排除することで、モデルトレーニングの簡素化と再現性の向上が達成された。
• データ、モデル、コードの公開により、医療画像セグメンテーション分野における本手法の広範な採用と応用拡張が可能になった。