[論文レビュー] Unleashing the Strengths of Unlabeled Data in Pan-cancer Abdominal Organ Quantification: the FLARE22 Challenge

Jun Ma, Yao Zhang+27 more|arXiv (Cornell University)|Aug 10, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 19

ひとこと要約

この論文は FLARE22 チャレンジを提示する。CT からの 13 の腹部臓器セグメンテーションの大規模な多国間の半教師ありベンチマークで、ラベルなしデータが Dice 類似性と一般化を高めることを示し、効率性を評価する。

ABSTRACT

Quantitative organ assessment is an essential step in automated abdominal disease diagnosis and treatment planning. Artificial intelligence (AI) has shown great potential to automatize this process. However, most existing AI algorithms rely on many expert annotations and lack a comprehensive evaluation of accuracy and efficiency in real-world multinational settings. To overcome these limitations, we organized the FLARE 2022 Challenge, the largest abdominal organ analysis challenge to date, to benchmark fast, low-resource, accurate, annotation-efficient, and generalized AI algorithms. We constructed an intercontinental and multinational dataset from more than 50 medical groups, including Computed Tomography (CT) scans with different races, diseases, phases, and manufacturers. We independently validated that a set of AI algorithms achieved a median Dice Similarity Coefficient (DSC) of 90.0\% by using 50 labeled scans and 2000 unlabeled scans, which can significantly reduce annotation requirements. The best-performing algorithms successfully generalized to holdout external validation sets, achieving a median DSC of 89.5\%, 90.9\%, and 88.3\% on North American, European, and Asian cohorts, respectively. They also enabled automatic extraction of key organ biology features, which was labor-intensive with traditional manual measurements. This opens the potential to use unlabeled data to boost performance and alleviate annotation shortages for modern AI models.

研究の動機と目的

• 大規模で多様な多国籍CTデータセットを用いて腹部臓器の注釈効率的なセグメンテーションを実証する。
• セグメンテーションの精度とリソース効率の両方を評価し、実世界の配置制約を反映する。
• 北米、欧州、アジアの外部コホートへのトップ手法の一般化を評価する。
• 無ラベルデータがパン癌腹部臓器定量の性能を向上させる可能性を探る。

提案手法

• 13の腹部臓器のために、2900人の患者、725,000スライス、53グループ、7メーカー、4フェーズを含む大規模な多人種・多施設CTデータセットを構築する。
• 2000件の unlabeled と50 labeled ケースを用いた半教師付きタスクを設計し、セグメンテーションアルゴリズムを開発する。
• 内部検証で DSC と NSD に加え、実行時間、GPUメモリ、CPU使用率などの効率指標でアルゴリズムを評価する。
• 一般化を評価するため、北米・欧州・アジアの独立したコホートでトップアルゴリズムを外部検証する。
• docker ベースのサブミッションフレームワークと rank-then-aggregate 評価戦略を用いて、方法を公正に比較する。

実験結果

リサーチクエスチョン

• RQ1 無ラベルCTデータは半教師付き設定で腹部臓器セグメンテーションの性能を向上させるか？
• RQ2 トップパフォーマンスの半教師付き手法は多様な国際コホートで一般化できるか？
• RQ3 実践的配置のためのセグメンテーション精度と計算効率のトレードオフはどの程度か？
• RQ4 どの臓器クラスがコホート全体で依然として困難であり理由は何か？
• RQ5 擬似ラベル学習は画像プロトコルのばらつきへの頑健性にどう影響するか？

主な発見

• 無ラベルデータはセグメンテーション性能を大幅に向上させ、内部検証で無ラベルデータを使用した場合中央値DSCが9.8%向上した。
• 上位3アルゴリズムは精度-効率の有利なトレードオフを達成し、中央値DSCは約88.6–89.4%で、15秒未満とGPUメモリ2GB未満。
• 外部コホートは中央値DSCがNAM 89.3%、EUR 90.9%、Asian 87.5%と同等で、強い一般化を示した。
• 大体積の臓器（肝臓、腎臓、脾臓）はトップ手法でDSC >90%を達成したが、膵臓、胃、十二指腸はより難しかった。
• 無ラベルデータを活用したモデルは、外部コホート3つ全てで無ラベルデータなしの対になるモデルよりも一貫して上回り、一般化の利点を強調した。