[論文レビュー] A Benchmark for Endoluminal Scene Segmentation of Colonoscopy Images

David Vázquez, Jorge Bernal+6 more|arXiv (Cornell University)|Dec 2, 2016

Colorectal Cancer Screening and Detection被引用数 5

ひとこと要約

この論文は、腸内鏡画像における内腔領域のセグメンテーションのための大規模かつ公開可能なベンチマークを紹介しており、内腔、被膜、ポリープ、鏡面反射を含むアノテーションを備えている。本研究では、完全畳み込みネットワーク（FCN）を新たな最先端のベースラインとして提案し、後処理を施さずに、セマンティックセグメンテーションおよびポリープ局在において、従来手法を顕著に上回り、鏡面反射などの困難な内 endoscopic 条件に対してもディープラーニングの頑健性を示している。

ABSTRACT

Colorectal cancer (CRC) is the third cause of cancer death worldwide. Currently, the standard approach to reduce CRC-related mortality is to perform regular screening in search for polyps and colonoscopy is the screening tool of choice. The main limitations of this screening procedure are polyp miss-rate and inability to perform visual assessment of polyp malignancy. These drawbacks can be reduced by designing Decision Support Systems (DSS) aiming to help clinicians in the different stages of the procedure by providing endoluminal scene segmentation. Thus, in this paper, we introduce an extended benchmark of colonoscopy image, with the hope of establishing a new strong benchmark for colonoscopy image analysis research. We provide new baselines on this dataset by training standard fully convolutional networks (FCN) for semantic segmentation and significantly outperforming, without any further post-processing, prior results in endoluminal scene segmentation.

研究の動機と目的

• 腸内鏡画像セグメンテーションのための大規模で公開可能かつ適切にアノテーションされたデータセットの不足に対処すること。
• 研究の加速を図るための一貫性のある評価指標を有する標準化されたベンチマークを確立すること。
• 完全畳み込みネットワーク（FCN）を用いた、腸内鏡画像のセマンティックセグメンテーションの強力なディープラーニングベースラインを提供すること。
• FCNが内腔、ポリープ、被膜、鏡面反射といった重要な解剖学的構造をどれほど効果的にセグメンテーションできるか、およびそれがポリープ検出の代理指標としてどれほど有効であるかを評価すること。
• 特に鏡面反射や多様なポリープの外観に対処する能力において、従来の手作業で設計された手法に比べてディープラーニングがどのように優れているかを示すこと。

提案手法

• 著者らは、2つの既存の腸内鏡データセット（Bernal et al. (2012, 2015)）を統合し、1,000枚の画像を含む拡張されたベンチマークを構築した。このうち400枚は新たにアノテーションされたフレームである。
• アノテーションは、内腔（青）、背景／被膜（赤）、ポリープ（緑）、鏡面反射（黄）という4つのクラスに拡張された。
• 再現可能性と公準な比較を可能にするために、標準的な訓練／検証／テスト分割が確立された。
• 完全畳み込みネットワーク（FCN）、特にFCN8が、標準的な交差エントロピー損失を用いて、エンドツーエンドでセマンティックセグメンテーションのための学習に用いられた。
• 標準的な指標を用いてモデルを評価した：平均交差率（mIoU）、クラス別IoU、およびIoU閾値に基づくポリープ局在率。
• ポリープ局在は、予測されたポリープマスクと正解マスクの間のIoUを用いて、検出の代理指標として評価された。

実験結果

リサーチクエスチョン

• RQ1 豊富なアノテーションを備えた大規模で公開可能なベンチマークは、腸内鏡画像セグメンテーション研究の性能と再現性を向上させることができるか？
• RQ2 完全畳み込みネットワーク（FCN）は、従来手法と比較して、腸内鏡画像における複数の解剖学的構造（内腔、ポリープ、被膜、鏡面反射）のセグメンテーションにおいて、どの程度の性能を示すか？
• RQ3 鏡面反射などの困難な視覚的アーティファクトに対処する能力において、FCNのようなディープラーニングモデルは、従来の手作業で設計されたアプローチをどの程度上回るか？
• RQ4 FCNによるセマンティックセグメンテーションは、IoUに基づく局在精度で測定した場合、ポリープ検出の有効な代理指標として機能するか？
• RQ5 出力クラス数を減らす（例：内腔と被膜を統合する）ことで、セグメンテーションの頑健性および局在性能が向上するか？

主な発見

• 4つのクラス（内腔、被膜、ポリープ、鏡面反射）を含む1,000枚のアノテーション済み腸内鏡画像を有する本研究で提案するベンチマークは、今後の内腔シーンセグメンテーション研究の標準的基盤を提供する。
• FCN8モデルは、テストセットで86.7%の平均IoUを達成し、いかなる後処理を施さずに、従来の最先端手法を顕著に上回った。
• 鏡面反射に対してもモデルの性能が低下せず、従来の手作業で設計された手法とは異なり、ポリープセグメンテーション性能に劣化が生じなかった。
• 50%のIoU閾値を用いた場合、FCN8モデルは従来の最先端手法（bernal2014polyp）よりも40%高いポリープ局在率を達成した。
• クラス数を減らしたモデル（例：2または3クラス）は、より高いIoUおよび局在性能を示し、クラスの簡略化がセグメンテーションの安定性を向上させることを示唆した。
• FCNベースのアプローチは、ほぼリアルタイムの推論を可能にしたため、臨床的意思決定支援システム（DSS）への統合の可能性を示した。