[論文レビュー] Exploiting full Resolution Feature Context for Liver Tumor and Vessel Segmentation via Integrate Framework: Application to Liver Tumor and Vessel 3D Reconstruction under embedded microprocessor

Xiangyu Meng, Xudong Zhang+6 more|arXiv (Cornell University)|Nov 26, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

本稿では、CT画像における肝腫瘍および血管のセグメンテーションを向上させるために、フル解像度特徴の文脈を活用するトランスフォーマー基盤のマルチスケール特徴統合ネットワーク、TransFusionNetを提案する。グローバルな文脈モデリングと効率的な特徴再構築を統合することで、肝腫瘍のDiceスコアが0.961、血管のDiceスコアが0.899という最先端の性能を達成し、実時間での3D再構築を可能にする埋め込みマイコンプロセッサ上へのモデル実装にも成功した。

ABSTRACT

Liver cancer is one of the most common malignant diseases in the world. Segmentation and labeling of liver tumors and blood vessels in CT images can provide convenience for doctors in liver tumor diagnosis and surgical intervention. In the past decades, many state-of-the-art medical image segmentation algorithms appeared during this period. With the development of embedded devices, embedded deployment for medical segmentation and automatic reconstruction brings prospects for future automated surgical tasks. Yet, most of the existing segmentation methods mostly care about the spatial feature context and have a perception defect in the semantic relevance of medical images, which significantly affects the segmentation accuracy of liver tumors and blood vessels. Deploying large and complex models into embedded devices requires a reasonable trade-off between model accuracy, reasoning speed and model capacity. Given these problems, we introduce a multi-scale feature fusion network called TransFusionNet based on Transformer. This network achieved very competitive performance for liver vessel and liver tumor segmentation tasks, meanwhile it can improve the recognition of morphologic margins of liver tumors by exploiting the global information of CT images. Experiments show that in vessel segmentation task TransFusionNet achieved mean Dice coefficients of 0.899 and in liver tumor segmentation task TransFusionNet achieved mean Dice coefficients of 0.961. Compared with the state-of-the-art framework, our model achieves the best segmentation result. In addition, we deployed the model into an embedded micro-structure and constructed an integrated model for liver tumor vascular segmentation and reconstruction. This proprietary structure will be the exclusive component of the future medical field.

研究の動機と目的

• 既存の医療画像モデルにおける意味的・空間的文脈の制限により、肝腫瘍および血管のセグメンテーション精度が低いという課題に対処すること。
• リソース制約のある埋め込みマイコンプロセッサへの統合に適した軽量で高精度なセグメンテーションモデルを開発すること。
• 臨床応用を想定し、CTスキャンから肝腫瘍および血管構造のリアルタイムで自動化された3D再構築を可能にすること。
• 手術計画に不可欠な細かな血管縁および腫瘍境界の認識を向上させること。
• 高精度なディープラーニングモデルと臨床用埋め込みシステムとの間のギャップを埋めること。

提案手法

• U-Netに類似したエンコーダ・デコーダアーキテクチャに、高解像度特徴を回復させるマルチスケール特徴統合デコーダを統合した、TransFusionNetを提案する。
• 長距離のグローバルな文脈を捉え、複雑な解剖的構造の意味的理解を向上させるために、ビジョントランスフォーマー（ViT）エンコーダを統合する。
• 大規模で高精度なセグメンテーションモデルを、埋め込み用に適した軽量モデルに圧縮するための知識蒸留を採用する。
• Jetson TX2における推論の高速化とモデルサイズの削減を目的として、後処理の量子化を適用する。
• 予測ラベルマップ o に基づき、y = G * argmax(o) で表されるガウスフィルタベースの後処理ステップを実装し、セグメンテーションマスクを精緻化する。
• 知識蒸留および量子化を経たモデルを、埋め込み型のJetson TX2システムにデプロイし、CTボリュームからの実時間3D再構築を実現する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のネットワークは、CT画像における肝腫瘍および血管のセグメンテーションを、フル解像度特徴の文脈を効果的に活用することで向上させることができるか？
• RQ2 マルチスケール特徴統合は、腫瘍縁や小血管のような細かな解剖的詳細の回復能力をどの程度向上させるか？
• RQ3 大規模で高精度なセグメンテーションモデルを、顕著な精度損失なしに、リソース制限のある埋め込みマイコンプロセッサに圧縮・デプロイできるか？
• RQ4 埋め込みデプロイにより、肝腫瘍および血管構造のリアルタイムで高精細な3D再構築が可能になるか？
• RQ5 Diceスコアおよび再構築忠実度の観点から、本手法は最先端のモデルと比較してどの程度優れているか？

主な発見

• LITSデータセットにおいて、TransFusionNetは肝腫瘍セグメンテーションの平均Dice係数が0.961を達成し、最先端手法を上回った。
• 3DIRCADBデータセットにおいて、肝血管セグメンテーションの平均Dice係数は0.899を記録し、優れた性能を示した。
• 研究者らが独自にアノテートしたデータセットでは、腫瘍セグメンテーションのIOUが0.927、血管セグメンテーションのIOUが0.822に達し、優れた汎化性能を示した。
• 知識蒸留および量子化パイプラインにより、Jetson TX2に向けたモデルの圧縮が成功した。
• 埋め込みシステムからの再構築3Dモデルは、手動アノテーションと高い類似性を示し、わずかなノイズとわずかな詳細損失を除いて優れた品質を維持した。
• 本システムは、従来のアノテーションに比べて大幅に手作業の負担を軽減する、リアルタイムで自動化された肝腫瘍および血管の3D再構築を可能にした。