[論文レビュー] The Medical Segmentation Decathlon

Michela Antonelli, Annika Reinke+57 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Neural Network Applications被引用数 10

ひとこと要約

Medical Segmentation Decathlon (MSD) は、多様な解剖的構造および画像モodalities における一般化可能なディープラーニングアルゴリズムの評価と促進を目的とした大規模かつマルチタスクの医療画像セグメンテーションチャレンジである。本研究では、複数のタスクで一貫したパフォーマンスを示すモデルが、未観測のタスクに対しても効果的に一般化できることを示しており、優勝した nnU-Net メソッドが2年間にわたり最先端のパフォーマンスを維持した。これは、正確なセグメンテーションモデルの自動的かつエキスパートフリーなトレーニングが今や可能で、かつ頑健であることを裏付けている。

ABSTRACT

International challenges have become the de facto standard for comparative assessment of image analysis algorithms given a specific task. Segmentation is so far the most widely investigated medical image processing task, but the various segmentation challenges have typically been organized in isolation, such that algorithm development was driven by the need to tackle a single specific clinical problem. We hypothesized that a method capable of performing well on multiple tasks will generalize well to a previously unseen task and potentially outperform a custom-designed solution. To investigate the hypothesis, we organized the Medical Segmentation Decathlon (MSD) - a biomedical image analysis challenge, in which algorithms compete in a multitude of both tasks and modalities. The underlying data set was designed to explore the axis of difficulties typically encountered when dealing with medical images, such as small data sets, unbalanced labels, multi-site data and small objects. The MSD challenge confirmed that algorithms with a consistent good performance on a set of tasks preserved their good average performance on a different set of previously unseen tasks. Moreover, by monitoring the MSD winner for two years, we found that this algorithm continued generalizing well to a wide range of other clinical problems, further confirming our hypothesis. Three main conclusions can be drawn from this study: (1) state-of-the-art image segmentation algorithms are mature, accurate, and generalize well when retrained on unseen tasks; (2) consistent algorithmic performance across multiple tasks is a strong surrogate of algorithmic generalizability; (3) the training of accurate AI segmentation models is now commoditized to non AI experts.

研究の動機と目的

• 一貫して複数の医療画像セグメンテーションタスクで高い性能を示すディープラーニングモデルが、以前に観測されていなかったタスクに対しても一般化できるかどうかを調査すること。
• 手動によるハイパーパrameterチューニングなしで、自動的かつエンドツーエンドのトレーニングによって、セグメンテーションモデルが最先端のパフォーマンスに到達できるかどうかを評価すること。
• 上位パフォーマンスを示したモデルの長期的な一般化可能性が、初期チャレンジ期間を過ぎても維持されるかどうかを評価すること。
• 複数のタスクで一貫したパフォーマンスが、アルゴリズムの一般化可能性を信頼できる指標として機能するかどうかを検証すること。
• 正確なセグメンテーションモデルのトレーニングが、今や臨床およびバイオメディカル分野におけるエキスパートでない者たちにとっても商品化可能であり、実用可能であることを示すこと。

提案手法

• MSD チャレンジは、異なる臓器、画像モダリティ（例：MRI、CT）、およびデータの複雑さ（例：小規模データセット、不均衡ラベル）をカバーする10の多様な医療画像セグメンテーションタスクを組織している。
• 参加者は、固定された10のタスクに対してモデルをトレーニングおよびテストし、Dice Similarity Coefficient (DSC) を用いて標準化された評価を受ける。
• 2019年および2020年のローリング評価形式では、新しい参加者およびモデルが、時間の経過とともに同じ10のタスクに対して評価された。
• 優勝手法である nnU-Net は、ヒューリスティックに基づくニューラルネットワークアーキテクチャ設計に加え、自動化されたデータ前処理、正規化、およびトレーニングパイプライン設定を採用している。
• 上位パフォーマンスを示したチームは、タスクごとにネットワークアーキテクチャを自動最適化するためのNeural Architecture Search (NAS) を採用しており、計算負荷の増加を伴うがパフォーマンスを向上させている。
• 2018年の優勝モデル（nnU-Net）を2年間にわたり縦断的にモニタリングし、新しい関連のない臨床的タスクにおける持続的なパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 多様な医療画像セグメンテーションタスクで良好な性能を示すディープラーニングモデルが、新たな未観測タスクに対しても効果的に一般化できるか？
• RQ2 複数のタスクで一貫したパフォーマンスが、モデルの新しい臨床的問題への一般化能力を信頼できる指標として機能するか？
• RQ3 自動的かつエンドツーエンドのトレーニングパイプライン（例：nnU-Net）が、手動によるハイパーパrameterチューニングなしでどの程度最先端のセグメンテーションパフォーマンスに到達できるか？
• RQ4 ニューラルアーキテクチャサーチ（NAS）とヒューリスティックベースの手法（nnU-Net など）を比較すると、医療画像セグメンテーションにおけるパフォーマンスと計算コストの面で、どちらが優れているか？
• RQ5 一度適切に設計されたディープラーニングモデルが、再トレーニングなしで長期間にわたり、広範な臨床的セグメンテーションタスクで高いパフォーマンスを維持できるか？

主な発見

• 2018年のMSDチャレンジで優勝したモデルであるnnU-Netは、2年間にわたり、複数の新しい関連のないセグメンテーションタスクで最先端のパフォーマンスを維持した。
• 脾臓セグメンテーションタスクの中央値DSCは、2018年の0.94からローリングチャレンジで0.97に向上し、時間の経過とともに顕著なパフォーマンス向上が見られた。
• 脳における非強化腫瘍セグメンテーションタスクは依然として最も困難であり、中央値DSCが0.47にとどまり、小規模対象および低コントラストセグメンテーションにおける継続的な課題を示している。
• 2019年および2020年の3つの手法が、2018年の優勝結果を上回り、チャレンジ全体でセグメンテーションパフォーマンスの継続的向上が確認された。
• Neural Architecture Search (NAS) は、上位パフォーマンスを示したチームの間で主要なトレンドとして浮上し、ヒューリスティックベースの手法（nnU-Netなど）に比べてより優れた結果をもたらしたが、計算コストが高かった。
• 本研究は、複数のタスクで一貫したパフォーマンスが一般化可能性の強力な予測因子であることを確認しており、MSDチャレンジの核心仮説を裏付けた。