[論文レビュー] AutoPET Challenge: Combining nn-Unet with Swin UNETR Augmented by Maximum Intensity Projection Classifier

Lars Heiliger, Zdravko Marinov+10 more|arXiv (Cornell University)|Sep 2, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

本論文は、AutoPETチャレンジにおいてFDG-PET/CTスキャンの3次元セマンティックセグメンテーションを目的としたハイブリッドディープラーニング手法を提示する。nn-UnetとSwin UNETRを組み合わせ、最大強度投影（MIP）に基づく分類器をゲーティング機構として用いる。MIP分類器が病変を検出した場合にのみ、セグメンテーション出力のラテントフェージョンを適用し、肺がん、メラノーマ、リンパ腫患者において交差検証Diceスコア72.12％を達成した。

ABSTRACT

Tumor volume and changes in tumor characteristics over time are important biomarkers for cancer therapy. In this context, FDG-PET/CT scans are routinely used for staging and re-staging of cancer, as the radiolabeled fluorodeoxyglucose is taken up in regions of high metabolism. Unfortunately, these regions with high metabolism are not specific to tumors and can also represent physiological uptake by normal functioning organs, inflammation, or infection, making detailed and reliable tumor segmentation in these scans a demanding task. This gap in research is addressed by the AutoPET challenge, which provides a public data set with FDG-PET/CT scans from 900 patients to encourage further improvement in this field. Our contribution to this challenge is an ensemble of two state-of-the-art segmentation models, the nn-Unet and the Swin UNETR, augmented by a maximum intensity projection classifier that acts like a gating mechanism. If it predicts the existence of lesions, both segmentations are combined by a late fusion approach. Our solution achieves a Dice score of 72.12\% on patients diagnosed with lung cancer, melanoma, and lymphoma in our cross-validation. Code: https://github.com/heiligerl/autopet_submission

研究の動機と目的

• 腫瘍が生理的取り込みによって見えにくくなるがん画像における3次元セマンティックセグメンテーションの改善を目的とする。
• 臓器、炎症、感染症に起因する非悪性代謝活動が引き起こす誤検出を是正することを目的とする。
• 多様ながん種（肺がん、メラノーマ、リンパ腫）にわたる腫瘍体積評価のための耐障害的かつ自動化されたソリューションの開発を目的とする。
• 注意機構を備えたアーキテクチャ（Swin UNETR）と効率的なセグメンテーション（nn-Unet）を、分類器ゲートを介したラテントフェージョンパイプラインで統合することを目的とする。
• 900例の公開データセットを用いたAutoPETチャレンジで、臨床的意義と一般化性能に重点を置いた手法の妥当性を検証することを目的とする。

提案手法

• パイプラインは、PETスキャンの冠状および矢状最大強度投影（MIP）を入力とし、病変性取り込みを検出する2値分類器アンサンブルを用いる。
• 分類器アンサンブルは、脳構造を含む・含まないMIPを用いてトレーニングされたResNet18およびResNet50バックボーンを組み合わせ、論理ORによる決定レベルラテントフェージョンを適用する。
• 誤りを減らすために保守的閾値（γ=0.3）を適用し、分類器のいずれかが病変を検出した場合にのみセグメンテーションを実行する。
• セグメンテーションには、最先端の2つのモデルを用いる：nn-Unet（自動ハイパーパramータチューニングを備えた3次元U-Net）およびSwin UNETR（トランスフォーマーに基づく3次元セグメンテーションモデル）。
• nn-UnetとSwin UNETRの出力を平均化してフェージョンし、その後、後処理を実施する。
• 後処理には、小さな予測（<10ボクセル）の削除および境界抑制（zスライスの0.5–12％）を実施したが、効果は限定的であった。

実験結果

リサーチクエスチョン

• RQ1 MIPに基づく分類器は、健康な患者における不要なセグメンテーションを回避するゲーティング機構として効果的に機能するか？
• RQ2 nn-UnetとSwin UNETRのラテントフェージョンは、個々のモデルに比べてセグメンテーション性能をどのように向上させるか？
• RQ3 脳を除いたMIP（de-brained MIPs）を用いることで、分類器の一般化性能が向上し、誤検出が減少するか？
• RQ4 Swin UNETRに内蔵された注意機構は、nn-Unetのインダクティブバイアスとどのように補完的であるか？
• RQ5 臨床的セグメンテーションパイプラインにおいて、誤陽性体積（FPV）と誤陰性体積（FNV）の最適なバランスはどの程度か？

主な発見

• アンサンブル分類器は、交差検証で74.3％の精度を達成し、1フォールドあたり2.4件の誤陰性および49.6件の誤陽性を示した。
• MIP-Y（冠状）ビューは常にMIP-X（矢状）ビューを上回り、脳構造を含むMIP-YにEfficientNet-B4を適用した場合、最高91.09％の精度を記録した。
• 脳を除いたMIPは、誤陰性/誤陽性の分布を変化させ、相補的な特徴学習が可能であり、両者を併用したアンサンブル学習による利点が示唆された。
• nn-UnetとSwin UNETRのラテントフェージョンは性能向上に寄与し、後者により長距離のコンテキストモデリングが可能となったと考えられる。
• 後処理ステップは限定的な影響しか示さず、1つの腫瘍予測の削除と、健康例における誤陽性のわずかな減少にとどまった。
• 最終的なソリューションは、肺がん、メラノーマ、リンパ腫患者において、交差検証平均Diceスコア72.12％を達成し、AutoPETチャレンジのベースラインモデルを上回った。