[論文レビュー] PolypGen: A multi-center polyp detection and segmentation dataset for generalisability assessment.

Sharib Ali, Debesh Jha+12 more|arXiv (Cornell University)|Jun 8, 2021

Colorectal Cancer Screening and Detection参考文献 32被引用数 9

ひとこと要約

PolypGen は、300名以上の患者を対象に、3,446 個の正確にアノテートされたポリープインスタンスを含む大規模でマルチセンターデータセットであり、ポリープ検出およびセグメンテーションモデルの一般化性能を厳密に評価することを目的としている。6か所の病院から得られた多様な内視鏡データを用い、6名のシニア消化器内視鏡医によって確認されたデータであり、Endocv2021 チャレンジの一環として開発された。

ABSTRACT

Polyps in the colon are widely known as cancer precursors identified by colonoscopy either related to diagnostic work-up for symptoms, colorectal cancer screening or systematic surveillance of certain diseases. Whilst most polyps are benign, the number, size and the surface structure of the polyp are tightly linked to the risk of colon cancer. There exists a high missed detection rate and incomplete removal of colon polyps due to the variable nature, difficulties to delineate the abnormality, high recurrence rates and the anatomical topography of the colon. In the past, several methods have been built to automate polyp detection and segmentation. However, the key issue of most methods is that they have not been tested rigorously on a large multi-center purpose-built dataset. Thus, these methods may not generalise to different population datasets as they overfit to a specific population and endoscopic surveillance. To this extent, we have curated a dataset from 6 different centers incorporating more than 300 patients. The dataset includes both single frame and sequence data with 3446 annotated polyp labels with precise delineation of polyp boundaries verified by six senior gastroenterologists. To our knowledge, this is the most comprehensive detection and pixel-level segmentation dataset curated by a team of computational scientists and expert gastroenterologists. This dataset has been originated as the part of the Endocv2021 challenge aimed at addressing generalisability in polyp detection and segmentation. In this paper, we provide comprehensive insight into data construction and annotation strategies, annotation quality assurance and technical validation for our extended EndoCV2021 dataset which we refer to as PolypGen.

研究の動機と目的

• ポリープ検出およびセグメンテーションモデルの一般化性能を評価するための大規模でマルチセンターデータセットの不足に対処すること。
• 標準化されたアノテーションを備えた多様で複数機関にまたがるデータセットを構築することで、単一センターや単一集団のデータへの過学習を低減すること。
• 単一フレームおよび動画シーケンスの両方を含めることで、実臨床環境におけるディーブラーニングモデルの堅牢なベンチマーク評価を支援すること。
• 6名の専門家消化器内視鏡医によるコンSENSUSラベリングを通じて、アノテーション品質を確保すること。
• 将来的なコロノスコピー画像解析研究の基盤を提供するため、包括的で検証済みのデータセットを一般化性能の評価に役立てるものとする。

提案手法

• 患者の人口統計、内視鏡機器、画像プロトコルの多様性を確保するため、6か所の独立した医療機関から収集した内視鏡画像および動画シーケンスをキュレートした。
• 6名のシニア消化器内視鏡医による正確なピxlsレベルのセグメンテーションマスクによる3,446 個のポリープインスタンスを収集し、高品質な真値を確保した。
• ポリープ境界の明確化における観察者間ばらつきを低減し、信頼性を向上させるために、複数名の読取者によるコンセンサスアノテーション戦略を実装した。
• 分類および時系列モデリングの両方のタスクをサポートするため、単一フレームおよび動画シーケンスのサブセットにデータセットを整理した。
• 空間的一致性、アノテーションの完全性、外れ値検出などの技術的チェックを通じて、データ品質を検証した。
• ポリープ検出およびセグメンテーションモデルのコミュニティワイドな評価とベンチマーク化を促進するため、Endocv2021 チャレンジの延長としてデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 モデルの性能は、マルチセンターデータセット上で評価された場合、単一センターベンチマークと比較してどの程度低下するか？
• RQ2 複数機関から得た多様な内視鏡データの組み込みが、ポリープ検出およびセグメンテーションモデルの一般化性能にどのように影響するか？
• RQ3 専門家によるコンセンサスアノテーションが、臨床画像におけるポリープセグメンテーションの信頼性および再現性に与える影響は何か？
• RQ4 PolypGen のようなマルチセンターデータセットは、異なる集団および画像条件においてモデルの一般化性能を評価するための堅牢なベンチマークとして機能できるか？
• RQ5 PolypGen に含まれる解剖学的場所、ポリープ形態、画像品質の多様性が、モデルのロバストネスにどのように影響するか？

主な発見

• PolypGen には、ピxlsレベルのセグメンテーションマスクを備えた3,446 個のポリープインスタンスが含まれており、現在までで最も包括的なポリープ検出およびセグメンテーションデータセットである。
• 6か所の医療機関にまたがるデータセットであり、患者集団、内視鏡機器、画像プロトコルの多様性を確保しており、一般化性能のテストに適している。
• すべてのアノテーションは6名のシニア消化器内視鏡医によって確認されており、高い評価者間信頼性と臨床的妥当性を確保している。
• 単一フレームおよび動画シーケンスの両方を含むことで、異なる時間的・空間的文脈におけるモデルの評価が可能である。
• データセットはEndocv2021 チャレンジの一環として開発され、多様な臨床環境におけるモデル性能の標準化されたベンチマークを確立した。
• PolypGen は、単一センターや単一集団の性能を超えた、厳密な一般化性能の評価を可能にする基盤を提供する。