[論文レビュー] Focal FCN: Towards Biomedical Small Object Segmentation with Limited Training Data

Xiao-Yun Zhou, Mali Shen+3 more|arXiv (Cornell University)|Nov 4, 2017

Aortic aneurysm repair treatments参考文献 1被引用数 2

ひとこと要約

本論文は、2D Fluoroscopy画像における5つの異なるマーカークラスを分類するために等重みFocal U-Netを用いた、ロボット内皮血管外科手術における自動3Dステントグラフト形状インstantiation手法を提案する。この手法は、mIoUが0.6943、中心位置誤差が1.6 mm未満のマーカーが81.01%にのぼり、限られたトレーニングデータでも正確なリアルタイム3D再構成を可能にする。

ABSTRACT

Robot-assisted Fenestrated Endovascular Aortic Repair (FEVAR) is currently navigated by 2D fluoroscopy which is insufficiently informative. Previously, a semi-automatic 3D shape instantiation method was developed to instantiate the 3D shape of a main, deployed, and fenestrated stent graft from a single fluoroscopy projection in real-time, which could help 3D FEVAR navigation and robotic path planning. This proposed semi-automatic method was based on the Robust Perspective-5-Point (RP5P) method, graft gap interpolation and semi-automatic multiple-class marker center determination. In this paper, an automatic 3D shape instantiation could be achieved by automatic multiple-class marker segmentation and hence automatic multiple-class marker center determination. Firstly, the markers were designed into five different shapes. Then, Equally-weighted Focal U-Net was proposed to segment the fluoroscopy projections of customized markers into five classes and hence to determine the marker centers. The proposed Equally-weighted Focal U-Net utilized U-Net as the network architecture, equally-weighted loss function for initial marker segmentation, and then equally-weighted focal loss function for improving the initial marker segmentation. This proposed network outperformed traditional Weighted U-Net on the class-imbalance segmentation in this paper with reducing one hyper-parameter - the weight. An overall mean Intersection over Union (mIoU) of 0.6943 was achieved on 78 testing images, where 81.01% markers were segmented with a center position error <1.6mm. Comparable accuracy of 3D shape instantiation was also achieved and stated. The data, trained models and TensorFlow codes are available on-line.

研究の動機と目的

• 3Dステントグラフト再構築のための生物学的微小対象分類において、限られたトレーニングデータの課題に対処する。
• 手動での損失重み設定の必要性を排除することで、マーカー分類におけるクラス不均衡を克服する。
• 手動によるマーカー中心検出をディープラーニングに置き換えることで、ロボット内皮血管外科手術における自動3D形状インスタンス化を実現する。
• 新規損失関数を用いて、2D Fluoroscopy投影画像における微小で明確に区別可能なマーカーの分類精度を向上させる。
• 臨床統合に適した実用的でデプロイ可能なソリューションを構築する。オープンソースのデータ、モデル、コードを提供する。

提案手法

• 2D Fluoroscopy画像における視認性の向上と分類精度の向上を目的に、5つの明確に異なるマーカー形状を設計した。
• マーカークラスのセマンティック分類のため、U-Netをベースネットワークアーキテクチャとして採用した。
• ハイパーパrameterチューニングを簡素化するために、初期のマーカー分類に等重み損失関数を適用した。
• 代表されないマーカークラスの分類を向上させるために、等重みFocal損失関数を統合した。
• 分類されたマーカークラスを用いて、自動的にマーカー中心位置を特定し、3D形状インスタンス化を実行した。
• マーカー中心検出とグラフトギャップ補間、RP5Pに基づく3D再構築を統合し、リアルタイムでの3D形状推定を実現した。

実験結果

リサーチクエスチョン

• RQ1 自動マーカー分類手法は、3Dステントグラフト再構築における手動アノテーション依存を低減できるか？
• RQ2 従来の重み付き損失関数と比較して、等重みFocal損失関数は微小生物学的対象のクラス不均衡をどのように処理するか？
• RQ3 U-Netベースのモデルは、限られたトレーニングデータのもとで、Fluoroscopy画像における高い分類精度を達成できるか？
• RQ4 マーカー形状設計の分類性能および3D再構築精度に与える影響はどの程度か？
• RQ5 提案手法は、リアルタイム3D形状インスタンス化において臨床的に許容可能な精度（1.6 mm未満の誤差）を達成できるか？

主な発見

• 等重みFocal U-Netは78枚のテスト画像上でmIoUが0.6943を達成し、優れた分類性能を示した。
• 分類されたすべてのマーカーの81.01%が中心位置誤差1.6 mm未満であり、3D再構築における高い幾何的正確性を示した。
• 従来の重み付きU-Netよりもクラス不均衡分類において優れた性能を示し、同時にハイパーパrameterの数を1つ削減した。
• 自動マーカー中心検出により、従来の半自動手法と同等の3D形状インスタンス化精度を達成した。
• 限られたトレーニングデータでもリアルタイム環境において堅牢であることが示され、臨床デプロイメントに適している。
• データセット、トレーニング済みモデル、TensorFlowコードが公開されており、再現性および今後の研究を支援する。