[論文レビュー] VerSe: A Vertebrae Labelling and Segmentation Benchmark

Anjany Sekuboyina, Amirhossein Bayat+28 more|arXiv (Cornell University)|Jan 24, 2020

Medical Imaging and Analysis被引用数 27

ひとこと要約

本論文では、160例の臨床的実態に即したCT画像を用い、人間と機械のハイブリッド手法でアノテーションされた椎骨ラベリングおよびセグメンテーションのための大規模ベンチマーク、VerSeを紹介する。11種類の自動化アルゴリズムを評価し、最高性能を示した手法は椎骨同定率95%、Dice係数90%を達成した。本研究では、すべてのデータとツールを公開し、継続的な研究を支援する。

ABSTRACT

This work is a technical report concerning the Large Scale Vertebrae Segmentation Challenge (VerSe) organised in conjunction with the MICCAI 2019. The challenge set-up consisting of two tasks, vertebrae labelling and vertebrae segmentation, is detailed. A total of 160 multidetector CT scans closely resembling a typical spine-centreed clinical setting were prepared and annotated at voxel-level by a human-machine hybrid algorithm. Both the annotation protocol and the algorithm that aided the medical experts in this annotation process are presented. More importantly, eleven fully automated algorithms of the participating teams were submitted to be benchmarked on the VerSe data. This work presents a detailed performance analysis of these algorithms with the best performing algorithm achieving a vertebrae identification rate of 95% and a Dice coefficient of 90%. VerSe'19 is an open-call challenge and its image data along with the annotations and evaluation tools will continue to be publicly accessible through its online portal.

研究の動機と目的

• CTスキャンにおける椎骨セグメンテーションおよびラベリングのための大規模かつ臨床的関連性のあるベンチマークを確立すること。
• 正確なボクセルレベルのセグメンテーションを実現するための、人間と機械のハイブリッドアノテーションプロトコルの開発と検証すること。
• 標準化されたデータセット上で11種類の完全自動化アルゴリズムの性能を評価・比較すること。
• 脊椎画像解析研究の継続的支援を目的として、公開可能なデータ、アノテーション、評価ツールを提供すること。

提案手法

• 本チャレンジでは、一般的な脊椎中心の臨床的画像取得を反映した160例のマルチディテクタCTスキャンが使用された。
• ボクセルレベルのアノテーションを生成するために、専門家の入力と自動支援を組み合わせた人間と機械のハイブリッドアルゴリズムが採用された。
• 構造化されたガイドラインと反復的精錬を通じて、一貫性と正確性を確保するアノテーションプロトコルが実施された。
• 参加チームの11種類の完全自動化アルゴリズムが、ベンチマークデータセット上で標準化された指標を用いて評価された。
• 性能は、椎骨同定率とセグメンテーション精度のDice係数を用いて測定された。
• 評価フレームワークとオンラインポータルにより、再現可能なベンチマーク評価と結果への公開アクセスが可能となった。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ臨床的実態に即したCTデータセット上で、最先端の自動化アルゴリズムは椎骨ラベリングおよびセグメンテーションにおいてどの程度の性能を示すか？
• RQ2 人間と機械のハイブリッドアプローチは、脊椎構造の高品質なボクセルレベルアノテーションを生成するためにどの程度効果的か？
• RQ3 自動化手法間で、個々の椎骨を同定・セグメンテーションする際の主な性能差は何か？
• RQ4 このベンチマークは、脊椎画像解析研究における再現性と進展をどのように支援するか？

主な発見

• 最高性能を示したアルゴリズムは、VerSe'19データセットで95%の椎骨同定率を達成した。
• 最高性能のアルゴリズムは、セグメンテーション精度についても90%のDice係数を達成し、正解と高い一致を示した。
• 人間と機械のハイブリッドアノテーション手法により、臨床的関連性を持つ160例のCTスキャンに対して信頼性の高いボクセルレベルのアノテーションが得られた。
• ベンチマークでは、提出された11種類のアルゴリズム間で顕著な性能差が確認され、現在の手法における改善の余地が浮き彫りになった。
• VerSe'19データセット（アノテーションおよび評価ツールを含む）は、今後の研究を目的として、オンラインポータルを通じて公開され続けている。