[論文レビュー] Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark

Parnian Afshar, Arash Mohammadi+23 more|arXiv (Cornell University)|Jan 3, 2022

Lung Cancer Diagnosis and Treatment被引用数 5

ひとこと要約

LOTUSベンチマークは、CTスキャンにおける肺腫瘍セグメンテーションのための標準化されたデータセットと評価フレームワークを導入し、ディープラーニングベースの手法の公平な比較を可能にする。参加者たちは腫瘍を含むスライスでDICEスコア0.52〜0.59を達成し、マーカビアンチームが優れたセグメンテーション精度により優勝したが、誤検出は依然として主要な課題であり、さらなる改善が求められる。

ABSTRACT

Lung cancer is one of the deadliest cancers, and in part its effective diagnosis and treatment depend on the accurate delineation of the tumor. Human-centered segmentation, which is currently the most common approach, is subject to inter-observer variability, and is also time-consuming, considering the fact that only experts are capable of providing annotations. Automatic and semi-automatic tumor segmentation methods have recently shown promising results. However, as different researchers have validated their algorithms using various datasets and performance metrics, reliably evaluating these methods is still an open challenge. The goal of the Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark created through 2018 IEEE Video and Image Processing (VIP) Cup competition, is to provide a unique dataset and pre-defined metrics, so that different researchers can develop and evaluate their methods in a unified fashion. The 2018 VIP Cup started with a global engagement from 42 countries to access the competition data. At the registration stage, there were 129 members clustered into 28 teams from 10 countries, out of which 9 teams made it to the final stage and 6 teams successfully completed all the required tasks. In a nutshell, all the algorithms proposed during the competition, are based on deep learning models combined with a false positive reduction technique. Methods developed by the three finalists show promising results in tumor segmentation, however, more effort should be put into reducing the false positive rate. This competition manuscript presents an overview of the VIP-Cup challenge, along with the proposed algorithms and results.

研究の動機と目的

• CTスキャンにおける肺腫瘍セグメンテーションのための標準化されたデータセットと評価メトリクスの不足に対処すること。
• 専門家による手動での腫瘍輪郭指定に伴う相互観察者差や時間的制約を低減すること。
• 異なる研究グループ間での自動的および準自動的セグメンテーション手法の公平で再現可能かつ比較可能な評価を可能にすること。
• 正確な腫瘍セグメンテーションを通じて早期肺がん診断を改善し、レーダミクスと治療計画を支援すること。
• 現在のディープラーニングベースのセグメンテーション手法における主な制限要因である誤検出の特定と是正を行うこと。

提案手法

• ベンチマークは2018年IEEE VIP-Cupコンペティションを通じて作成され、修正および完全なアノテーションが施されたNSCLC-Radiomicsデータセットの更新版が使用された。
• 参加者たちは主に畳み込みニューラルネットワーク（CNN）を用いたディープラーニングモデルを適用し、誤検出低減などの後処理技術を組み合わせてセグメンテーション出力を最適化した。
• 事前に定義された評価プロトコルが確立され、性能評価の主な指標としてDICEスコアとハウスドルフ距離が用いられた。
• データセットには129例の被験者にわたる肺結節のアノテーションが含まれており、腫瘍を含むスライスごとにセグメンテーションが評価された。
• 結果の統計的有意性はウィルコクソン順位和検定を用いて評価され、チーム間の性能差に有意差があることが確認された。
• 最終順位はセグメンテーションの正確性と誤検出の制御に基づき決定され、優勝チーム（マーカビアン）は感受性と特異性のバランスが最も優れていた。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、CTスキャンにおける肺腫瘍セグメンテーション手法の公平で再現可能な評価を可能にする標準化されたベンチマークを構築できるか？
• RQ2 ディープラーニングベースのセグメンテーションモデルは、どれほど高いDICEスコアを達成しつつ、誤検出を最小限に抑えることができるか？
• RQ3 現在の自動セグメンテーション手法の主な制限要因は何か。特に、腫瘍を含むスライスの特定と誤検出の低減において顕著な課題は何か？
• RQ4 誤検出低減などの異なる後処理技術は、最終的なセグメンテーションの正確性と信頼性にどのように影響を与えるか？
• RQ5 統一されたデータセットと評価フレームワークは、肺腫瘍セグメンテーション分野における研究グループ間の一貫性と比較可能性を向上させることができるか？

主な発見

• 優勝チームのマーカビアンは、統計的検定（p < 0.05）により他のチームよりも顕著に高いセグメンテーション正確性を達成し、最高のDICEスコアを記録した。
• チーム間のセグメンテーション性能は、腫瘍を含むスライスでDICEスコア0.52〜0.59の範囲にあり、中程度から良好な正確性を示したが、改善の余地があることが明らかになった。
• 誤検出低減を実装しなかったNTU-MiRAチームは3位に留まり、このステップの臨床的意義の重要性が浮き彫りになった。
• 失敗事例から、視覚的に妥当に見えるセグメンテーションでさえも誤検出であることが判明し、より良い腫瘍検出メカニズムの必要性が強調された。
• 統計的分析により、チーム間のすべてのペairワイズな性能差に有意差（p < 0.05）が確認され、ベンチマーク評価プロトコルの妥当性が裏付けられた。
• LOTUSベンチマークは、手法の標準化された比較を成功裏に実現し、医療画像解析研究分野における統一されたデータセットとメトリクスの価値を実証した。