[論文レビュー] A multi-centre polyp detection and segmentation dataset for generalisability assessment

Sharib Ali, Debesh Jha+13 more|arXiv (Cornell University)|Jun 8, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本稿では、300名以上の患者にまたがる3,762個のポリープアノテーションを含む大規模かつマルチセンターのコロノスコピー画像データセット、PolypGenを紹介する。単一フレームおよび動画シーケンスを含む。ポリープ検出およびセグメンテーションモデルの厳密な評価を可能にし、アトラス空間的ピラミッドプーリングを備えた残差ネットワークが、多様な臨床環境における汎化性能を向上させることを示した。ResNetUNetはリアルタイム推論（87 FPS）を達成し、境界精度において優れた性能（シーケンスでのMASD: 27.10）を示した。

ABSTRACT

Polyps in the colon are widely known cancer precursors identified by colonoscopy. Whilst most polyps are benign, the polyp's number, size and surface structure are linked to the risk of colon cancer. Several methods have been developed to automate polyp detection and segmentation. However, the main issue is that they are not tested rigorously on a large multicentre purpose-built dataset, one reason being the lack of a comprehensive public dataset. As a result, the developed methods may not generalise to different population datasets. To this extent, we have curated a dataset from six unique centres incorporating more than 300 patients. The dataset includes both single frame and sequence data with 3762 annotated polyp labels with precise delineation of polyp boundaries verified by six senior gastroenterologists. To our knowledge, this is the most comprehensive detection and pixel-level segmentation dataset (referred to as extit{PolypGen}) curated by a team of computational scientists and expert gastroenterologists. The paper provides insight into data construction and annotation strategies, quality assurance, and technical validation. Our dataset can be downloaded from \url{ https://doi.org/10.7303/syn26376615}.

研究の動機と目的

• コロノスコピーにおけるポリープ検出およびセグメンテーションのための包括的でマルチセンターのデータセットが不足しているという問題に対処すること。
• エキスパートが確認したアノテーションを備えた大規模かつマルチセンターのデータセットを提供することで、多様な臨床集団および画像条件におけるモデルの汎化性能を向上させること。
• 単一フレームおよび連続的なコロノスコピー画像データの両方におけるディープラーニングモデルのベンチマークを可能にし、時間的モデリングおよびドメインシフトへの耐性の評価を支援すること。
• センターごとのデータ分割を提供することで、フェデレーテッドラーニングおよびトランスファーラーニングのアプローチの開発と評価を支援すること。
• 標準化された高品質なデータセットを提供することで、ポリープ評価における観察者間ばらつきを低減し、AIシステムのトレーニングおよび検証を支援すること。

提案手法

• 6か所の異なる医療機関から収集したコロノスコピー画像データ（単一フレーム画像および内視鏡動画シーケンスを含む）。
• 6名のシニア消化器内視鏡医によるコンSENSUSアノテーションを通じて、正確なピxlsレベルのポリープセグメンテーションマスクを3,762個生成。
• 品質管理、データバランス調整、エキスパートレビューを含む段階的なデータキュレーションパイプラインを実装し、アノテーションの信頼性を確保。
• 施設ベースの評価を可能にする構造的なデータ分割を提供し、異なる臨床施設におけるモデルの汎化性能の評価を可能に。
• DSC、NSD、MASD、HDといったメトリクスを用いた境界精度評価を含む、セグメンテーション性能のためのベンチマークコードおよび評価ツールを開発。
• 本番データセットにおける技術的妥当性およびパフォーマンスベンチマークのため、最先端のディープラーニングアーキテクチャ（例：ResNetUNet、DeepLabV3+）を活用。

実験結果

リサーチクエスチョン

• RQ1 ポリープセグメンテーションのための既存のディープラーニングモデルは、実世界の画像変動を伴う多様でマルチセンターのデータセット上で、どのように性能を発揮するか？
• RQ2 トレーニング時に見なかった施設のデータ上で評価した場合、モデルのパフォーマンスはどの程度低下するか。また、その低下をどのように緩和できるか？
• RQ3 残差接続やアトラス空間的ピラミッドプーリングといったネットワークアーキテクチャやコンponentsは、どのように異なる臨床環境における汎化性能を向上させるか？
• RQ4 境界ベースのメトリクス（例：MASD）は、DSCなどの標準メトリクスと比較して、特に小・中サイズポリープのセグメンテーションパフォーマンスを評価する上でどのように異なるか？
• RQ5 本稿で提示されたデータセットは、コロノスコピーAIシステムにおけるフェデレーテッドラーニングおよびトランスファーラーニング戦略の開発と評価を支援できるか？

主な発見

• ResNet34バックボーンを搭載したResNetUNetは、87 FPSというリアルタイム推論を達成しながらも、高いセグメンテーション精度（ResNet50を搭載したDeepLabV3+と同等のDSC）を維持した。
• MASDメトリクスは、ResNetUNetが小・中サイズポリープにおいて、特に境界精度でDeepLabV3+を上回ることを示した。それぞれ単一フレームで35.83、シーケンスで27.10のスコアを記録したのに対し、DeepLabV3+は41.04および28.19であった。
• ヴァナイルUNet、PSPNet、FCN8といったベースラインアーキテクチャは、ポリープサイズの変動や画像コントラストの変化に対応できず、性能が不十分であった。
• 複数施設のデータを統合してトレーニングしたモデルは、偽陽性率が高くなった一方で、施設ごとのバリデーション分割では顕著なパフォーマンスのばらつきが確認され、ドメインに配慮した評価の重要性が浮き彫りになった。
• 最もパフォーマンスの優れたモデルは、高コントラストまたは明確な粘膜隆起を示すポリープを明確に検出できたが、平坦型・側方型・低コントラストの病変では失敗した。
• 照明、視野角、ポリープ形態のばらつきを含む、多様なデータ分布を持つ本データセットは、特に小サイズポリープ（100×100ピクセル未満）に対して、現在のモデルの限界を露呈した。