[論文レビュー] Multimodal Interactive Lung Lesion Segmentation: A Framework for Annotating PET/CT Images based on Physiological and Anatomical Cues

Verena Jasmin Hallitschke, Tobias Schlumberger+7 more|arXiv (Cornell University)|Jan 24, 2023

Radiomics and Machine Learning in Medical ImagingMedicine参考文献 21被引用数 3

ひとこと要約

本論文は、PET/CT肺病変のアノテーションに特化したマルチモーダルインタラクティブセグメンテーションフレームワークを提案する。解剖的（CT）および生理的（PET）の手がかりを活用することで、手動アノテーションの負担を軽減する。独創的な楕円体ベースのユーザーサイミュレーションとRoI最適化ジオデシック距離変換を用いることで、エキスパートユーザがベースライン手法と比較して1体積あたり約12.5%の時間短縮を達成し、より高速かつ正確なセグメンテーションを実現した。

ABSTRACT

Recently, deep learning enabled the accurate segmentation of various diseases in medical imaging. These performances, however, typically demand large amounts of manual voxel annotations. This tedious process for volumetric data becomes more complex when not all required information is available in a single imaging domain as is the case for PET/CT data. We propose a multimodal interactive segmentation framework that mitigates these issues by combining anatomical and physiological cues from PET/CT data. Our framework utilizes the geodesic distance transform to represent the user annotations and we implement a novel ellipsoid-based user simulation scheme during training. We further propose two annotation interfaces and conduct a user study to estimate their usability. We evaluated our model on the in-domain validation dataset and an unseen PET/CT dataset. We make our code publicly available: https://github.com/verena-hallitschke/pet-ct-annotate.

研究の動機と目的

• 3D医療画像セグメンテーションにおける高いアノテーション負荷、特に1つのモodalで病変が明確に見えないマルチモーダルPET/CTデータに対して、その問題を解決すること。
• 大規模なボクセルレベルのアノテーションに依存しないようにし、スクラッチなどの最小限のユーザ入力によるインタラクティブセグメンテーションを可能にすること。
• PET（代謝活性）とCT（解剖的詳細）の両モダリティをアノテーション段階で統合することで、セグメンテーションの精度と効率を向上させること。
• ユーザインターフェース設計の違い（同時表示対順次表示）が、アノテーション速度と品質に与える影響を評価すること。
• 訓練分布外のデータセットへの一般化能力を示し、モデルの頑健性を検証すること。

提案手法

• 提案手法は、P-Net（プロポーザル）とR-Net（リファインメント）の両ネットワークに同一のCNNアーキテクチャを適用することで、PETおよびCTの二重モダリティ入力を処理するようにDeepIGeoSモデルを拡張した。
• 訓練段階で現実的な前景および背景のスクラッチを生成するために、独創的な楕円体ベースのユーザーサイミュレーション方式を導入し、モデルの一般化性能を向上させた。
• 計算コストを低減しながら空間的文脈を保持するため、領域（RoI）に基づくジオデシック距離変換を用いてユーザ相互作用を符号化した。
• 2つのユーザインターフェース設計を実装した：(1) 同時表示型（PETとCTを並べて表示）、(2) モダリティ切り替え可能型（集中して1モダリティに注目可能）。
• 3D SlicerにMONAI Labelを統合し、リアルタイムでのモデル推論と反復的精錬を可能にするインタラクティブアノテーションプラグインを構築した。
• AutoPETデータセットでエンドツーエンドにモデルを学習し、ドメイン内およびドメイン外（Lung-PET-CT-Dx）データセットで評価することで、一般化性能を評価した。

Fig. 1 : We introduce an interactive segmentation framework containing paired multimodal views (left). We propose a novel ellipsoid-based user simulation scheme during training (middle) and we use only the RoI when computing the geodesic transform (right) to save computational time.

実験結果

リサーチクエスチョン

• RQ1 ユーザインターフェースでPETとCTを同時に表示することで、順次表示と比較して肺病変セグメンテーションがより高速かつ正確になるか？
• RQ2 マルチモーダルインタラクティブセグメンテーションフレームワークは、PET/CTボリュームにおける肺病変アノテーションに要する時間と労力の大幅な削減を実現できるか？
• RQ3 提案された楕円体ベースのユーザーサイミュレーション方式は、実際のユーザ相互作用なしに、トレーニング段階でのモデルの頑健性向上にどの程度有効か？
• RQ4 インタラクティブ精錬によって、未学習のPET/CTデータセットにおける初期ディープラーニング予測をどの程度改善できるか？
• RQ5 生理的（PET）および解剖的（CT）手がかりの統合は、単一モダリティ手法と比較して、セグメンテーション性能をどの程度向上させるか？

主な発見

• 2ビューインターフェース（同時PET・CT表示）は、GraphCutおよび単一ビュー設定と比較して、約12.5%のアノテーション時間短縮を達成した。これは、マルチモーダル可視化による高速化が確認されたことを示している。
• すべてのユーザが2ビューインターフェースを用いた場合、妥当なDiceスコア（>0.7）を達成した。一方、GraphCutは使用可能なセグメンテーションを生成できず、Diceスコアはほぼゼロに近かった。
• 単一ビューインターフェースでも、ほとんどのユーザが2ビューインターフェースと同等のDiceスコアを達成したが、アノテーションは著しく遅く、同時に表示することで効率が向上することが示された。
• 未学習データセット（Lung-PET-CT-Dx）においても、モデルは初期P-Net予測を効果的に改善し、異なるデータ分布に対しても強い一般化能力を示した。
• アンケート調査の結果、全エキスパートがマルチモーダルインターフェースの有用性を評価し、初期予測の速度と品質に高い満足度を示した。
• 最適化されたユーザインタラクションモデリングを通じて、生理的および解剖的手がかりを統合した本フレームワークは、PET/CT分野におけるインタラクティブセグメンテーションで最先端の性能を達成した。

Fig. 2 : The workflow of our proposed method. Blue boxes indicate the segmentation models which are adapted from Wang et al. [ 6 ] to multimodal inputs.