[論文レビュー] Towards Efficient COVID-19 CT Annotation: A Benchmark for Lung and Infection Segmentation

Jun Ma, Yixin Wang+10 more|arXiv (Cornell University)|Apr 26, 2020

COVID-19 diagnosis using AI参考文献 44被引用数 83

ひとこと要約

本論文は、20例にわたる2000枚を超えるアノテート済みスライスを含む、公開可能で大規模な3次元COVID-19 CTデータセットと、肺および感染症領域のセグメンテーションのための3つの標準化されたベンチマークを紹介する。これにより、統一されたデータ分割、評価指標、40以上の事前学習モデルを用いて、データが限られる状況下でもアノテーションに費やす労力の少ないセグメンテーション手法の公平な比較が可能となり、研究が前進する。

ABSTRACT

Accurate segmentation of lung and infection in COVID-19 CT scans plays an important role in the quantitative management of patients. Most of the existing studies are based on large and private annotated datasets that are impractical to obtain from a single institution, especially when radiologists are busy fighting the coronavirus disease. Furthermore, it is hard to compare current COVID-19 CT segmentation methods as they are developed on different datasets, trained in different settings, and evaluated with different metrics. In this paper, we created a COVID-19 3D CT dataset with 20 cases that contains 1800+ annotated slices and made it publicly available. To promote the development of annotation-efficient deep learning methods, we built three benchmarks for lung and infection segmentation that contain current main research interests, e.g., few-shot learning, domain generalization, and knowledge transfer. For a fair comparison among different segmentation methods, we also provide unified training, validation and testing dataset splits, and evaluation metrics and corresponding code. In addition, we provided more than 40 pre-trained baseline models for the benchmarks, which not only serve as out-of-the-box segmentation tools but also save computational time for researchers who are interested in COVID-19 lung and infection segmentation. To the best of our knowledge, this work presents the largest public annotated COVID-19 CT volume dataset, the first segmentation benchmark, and the most pre-trained models up to now. We hope these resources (\url{this https URL}) could advance the development of deep learning methods for COVID-19 CT segmentation with limited data.

研究の動機と目的

• 研究用に公開可能で大規模かつ良好にアノテートされたCOVID-19 CTデータセットが不足している問題に対処すること。
• 不一致なデータセット、トレーニングプロトコル、評価指標により、セグメンテーション手法の比較が困難であるという課題を克服すること。
• 少サンプル学習、ドメイン一般化、知識移譲のためのベンチマークを確立することで、アノテーションに依存しない深層学習を可能にすること。
• 再現可能な研究を可能にするために、統一された訓練・検証・テスト分割を備えた標準化されたプラットフォームを提供すること。
• 40以上の事前学習モデルをリリースすることで、即時の利用と計算コストの低減を実現し、手法開発を加速すること。

提案手法

• 肺および感染症領域のアノテート済みスライスが1800枚を超える20例から成る、公開用の3次元COVID-19 CTデータセットを構築した。
• 少サンプル学習、ドメイン一般化、知識移譲という主な研究課題を対象とした3つのセグメンテーションベンチマークを設計した。
• 公平かつ再現可能なモデル評価を保証するため、標準化された公開データ分割（訓練／検証／テスト）を確立した。
• 一貫した評価指標を定義し、対応するコードを公開することで、異なる手法間での性能比較を統一した。
• ベンチマーク用に40以上の事前学習済み深層学習モデルをトレーニングおよびリリースし、強力なベースラインを提供するとともに、トレーニング時間を短縮した。
• 限られたアノテーションとデータ不足という現実の制約に即した実用的価値を重視した。

実験結果

リサーチクエスチョン

• RQ1 異なる深層学習手法におけるCOVID-19 CTスキャンの肺および感染症セグメンテーションを評価するための標準化されたベンチマークをどのように確立できるか？
• RQ2 少サンプル学習やドメイン一般化といったアノテーションが限られる状況下で、最先端のモデルの性能はどの程度か？
• RQ3 本ベンチマークから得た事前学習モデルを用いることで、最小限のファインチューニングで下流のセグメンテーション性能がどの程度向上するか？
• RQ4 統一された評価プロトコルは、先行研究と比較して、セグメンテーション手法の再現性と比較可能性をどのように向上させるか？
• RQ5 事前学習モデルからの知識移譲は、臨床的CTセグメンテーションタスクにおける膨大なアノテーションの必要性を著しく削減できるか？

主な発見

• 本研究では、20例と1800枚を超えるアノテート済みスライスを有する、これまでで最大の公開アノテート済み3次元COVID-19 CTデータセットを提示した。
• 統一されたデータ分割と評価プロトコルを備えた、COVID-19 CTにおける肺および感染症セグメンテーションの最初の標準化されたベンチマークを導入した。
• 40以上の事前学習モデルがリリースされ、強力なベースラインを提供し、新しい研究における計算負荷を低減した。
• 統一された評価フレームワークにより、異なる手法や設定間でのセグメンテーションモデルの公平かつ再現可能な比較が可能になった。
• ベンチマークは、少サンプル学習、ドメイン一般化、知識移譲といった医療画像セグメンテーション分野の重要な研究分野を支援する。
• データセットおよびツールの公開により、臨床的CT解析におけるデータ効率の良い深層学習手法の開発が促進されると期待される。