[論文レビュー] Assessing generalisability of deep learning-based polyp detection and segmentation methods through a computer vision challenge

Sharib Ali, Noha Ghatwary+30 more|arXiv (Cornell University)|Feb 24, 2022

Colorectal Cancer Screening and DetectionMedicine被引用数 19

ひとこと要約

本研究は、EndoCV 2021 チャレンジを用いて、多施設・多モalityの胃腸内視鏡画像データセットを用いて、深層学習ベースのポリープ検出およびセグメンテーションモデルの一般化性能を評価する。上位チームは多様な検証セットで80%以上のDiceスコアを達成したが、予期しない施設や画像条件においては顕著な性能劣化を示し、臨床的AIシステムにおける一般化性能の向上が急務であることが明らかになった。

ABSTRACT

Polyps are well-known cancer precursors identified by colonoscopy. However, variability in their size, location, and surface largely affect identification, localisation, and characterisation. Moreover, colonoscopic surveillance and removal of polyps (referred to as polypectomy ) are highly operator-dependent procedures. There exist a high missed detection rate and incomplete removal of colonic polyps due to their variable nature, the difficulties to delineate the abnormality, the high recurrence rates, and the anatomical topography of the colon. There have been several developments in realising automated methods for both detection and segmentation of these polyps using machine learning. However, the major drawback in most of these methods is their ability to generalise to out-of-sample unseen datasets that come from different centres, modalities and acquisition systems. To test this hypothesis rigorously we curated a multi-centre and multi-population dataset acquired from multiple colonoscopy systems and challenged teams comprising machine learning experts to develop robust automated detection and segmentation methods as part of our crowd-sourcing Endoscopic computer vision challenge (EndoCV) 2021. In this paper, we analyse the detection results of the four top (among seven) teams and the segmentation results of the five top teams (among 16). Our analyses demonstrate that the top-ranking teams concentrated on accuracy (i.e., accuracy > 80% on overall Dice score on different validation sets) over real-time performance required for clinical applicability. We further dissect the methods and provide an experiment-based hypothesis that reveals the need for improved generalisability to tackle diversity present in multi-centre datasets.

研究の動機と目的

• 異なる臨床環境における深層学習モデルのポリープ検出およびセグメンテーションにおける一般化性能を厳密に評価すること。
• 異なる内視鏡施設、機器、画像モダリティからの分布外データに適用された最先端モデルの限界を特定すること。
• 検証セットでの高い正確性が、未観測の現実世界の臨床データにおける信頼性のある性能にどのように対応するかを評価すること。
• 臨床的内視鏡AIアプリケーションにおけるモデルの頑健性を向上させるための実用的知見を提供すること。
• 大規模かつ多施設にまたがるコンピュータビジョンコンテストからのトップパフォーマンス手法をベンチマークおよび分析すること。

提案手法

• 6つの異なる内視鏡施設から得られた3,762フレームのアノテート済み画像を含む、多施設・多人口の胃腸内視鏡画像データセットを収集した。画像モダリティにはWLEおよびNBIが含まれる。
• 世界中の機械学習チームからポリープ検出およびセグメンテーションモデルの開発を公募する形で、EndoCV 2021 チャレンジを実施した。
• NBI単一、WLE単一、既視シーケンス、未視認シーケンスの4つの異なるテストセットを用いて、多様な臨床状態を反映した評価を実施した。
• 定量的評価に、Diceスコア（DSC）、ジャコビアン係数（JC）、F2スコア、PPV、再現率、正確度（ACC）、ハウスドルフ距離（H d）といった標準指標を用いた。
• 検証セット全体のパフォーマンスに基づき、検出タスクで上位4チーム、セグメンテーションタスクで上位5チームを選定した。
• アブレーションおよび手法的分析を実施し、トップモデルにおける設計パターンと一般化失敗要因を同定した。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層学習モデルは、異なる内視鏡施設や画像モダリティにおいて、ポリープ検出およびセグメンテーションのタスクでどの程度一般化できるか？
• RQ2 分布内検証セットで高いパフォーマンスを示すことは、分布外の現実世界のテストデータでも成功を予測できるか？
• RQ3 どのアーキテクチャ的またはトレーニング上の選択が、クローズセンター一般化において頑健性や失敗をもたらすか？
• RQ4 トップパフォーマンスモデルに一般化を高める要因となる識別可能な設計パターンは存在するか？また、ベースライン手法と比較してどのように異なるか？
• RQ5 未視認シーケンスデータおよび多様な画像条件でテストされた際、現在のモデルが示す主な失敗モードは何か？

主な発見

• 上位パフォーマンスチームは、すべての検証セットで80%以上のDiceスコアを達成しており、分布内での強力な性能を示している。
• 高い正確性にもかかわらず、未視認シーケンスデータでは顕著な性能低下が見られ（例：Diceスコアが約0.30〜0.40に低下）、分布外一般化性能が著しく劣化していることが判明した。
• 最高のセグメンテーションモデルは、既視シーケンスで0.6744 ± 0.3011のDiceスコア、未視認シーケンスで0.4096 ± 0.3577のDiceスコアを記録し、頑健性の著しい低下が確認された。
• チームは推論速度よりも正確性を優先しており、実時間性能に達したモデルは1つもなかった。これは臨床現場への導入可能性を制限する要因となった。
• 分析の結果、マルチスケール特徴量とアテンション機構に依存するモデルがより良好な一般化を示したが、依然として未視認施設やモダリティでは失敗を示した。
• 本研究では、現在の深層学習手法に深刻なギャップが存在することが特定された：洗練されたベンチマークで高いパフォーマンスを示しても、実際の多施設臨床現場での運用では信頼性が保証されない。