[論文レビュー] Detecting, Localising and Classifying Polyps from Colonoscopy Videos using Deep Learning

Yu Tian, Leonardo Zorrón Cheng Tao Pu+7 more|arXiv (Cornell University)|Jan 9, 2021

Colorectal Cancer Screening and Detection参考文献 58被引用数 11

ひとこと要約

本論文では、ぼかし、便、水ジェットなどの干渉要因を除外して、少量のショット異常検出を用いてポリープを含むフレームを特定する、リアルタイムでのポリープ検出・局所化・分類を実現するディープラーニングシステムを提示する。不確実性推定と信頼度キャリブレーションを統合することで、特に低信頼度予測を除外する際の精度と解釈可能性が向上し、最先端の性能を達成している。

ABSTRACT

In this paper, we propose and analyse a system that can automatically detect, localise and classify polyps from colonoscopy videos. The detection of frames with polyps is formulated as a few-shot anomaly classification problem, where the training set is highly imbalanced with the large majority of frames consisting of normal images and a small minority comprising frames with polyps. Colonoscopy videos may contain blurry images and frames displaying feces and water jet sprays to clean the colon -- such frames can mistakenly be detected as anomalies, so we have implemented a classifier to reject these two types of frames before polyp detection takes place. Next, given a frame containing a polyp, our method localises (with a bounding box around the polyp) and classifies it into five different classes. Furthermore, we study a method to improve the reliability and interpretability of the classification result using uncertainty estimation and classification calibration. Classification uncertainty and calibration not only help improve classification accuracy by rejecting low-confidence and high-uncertain results, but can be used by doctors to decide how to decide on the classification of a polyp. All the proposed detection, localisation and classification methods are tested using large data sets and compared with relevant baseline approaches.

研究の動機と目的

• 大腸内視鏡動画におけるポリープの自動検出・局所化・分類システムの開発を目的とし、早期の結腸直腸がん診断を支援すること。
• 通常のフレームがポリープを含むフレームに比べて著しく多いという極めて不均衡なデータセットの課題に対処すること。
• 分類の不確実性と信頼度キャリブレーションをポリープ分類パイプラインに統合することで、信頼性と解釈可能性を向上させること。
• ポリープでないフレーム（ぼやけた画像、便、水ジェットの噴射など）からの誤検出を、ポリープ検出の前段階で効果的に除外すること。
• 手術後のがん組織所見に依存するのを減らし、手術中に正確なポリープ分類を可能にすること。

提案手法

• ポリープを含むフレームを検出するために、通常の画像とその埋め込み表現の間の相互情報量を最大化するように学習された、少量のショット異常検出フレームワーク（FSAD-Net）を用いる。
• ぼやけた画像、便、水ジェット噴射を含むフレームをポリープ検出の前段階で除外するため、外れ値に強い分類器を適用する。
• 最先端のオブジェクト検出アーキテクチャを用いて、1段階でポリープの局所化（バウンディングボックス）と5クラスへの分類を同時に行うディープラーニングモデルを採用する。
• ベイジアンおよびキャリブレーション済みの分類ヘッドを用いて、予測の不確実性を推定し、キャリブレーションを改善することで、誤ったキャリブレーションエラーを低減する。
• 低信頼度および高不確実性の予測を除外するための排除戦略を適用し、平均適合度（AP）と精度を向上させる。
• 大規模なオーストラリアおよび日本の大腸内視鏡データセットを用い、5分割交差検証を実施。ベースライン手法との厳密なアブレーションと比較評価を実施。

実験結果

リサーチクエスチョン

• RQ1 極めて不均衡なデータセットにおいて、少量のショット異常検出が、ポリープを含むフレームを正確に特定できるか？
• RQ2 便、水ジェット、ぼやけたフレームなどの非ポリープ干渉要因を効果的に除外することで、検出の信頼性が向上するか？
• RQ3 不確実性推定と信頼度キャリブレーションを統合することで、ポリープ分類の精度と解釈可能性がどの程度向上するか？
• RQ4 手動で検出されたポリープに依存する手法と比較して、1段階での局所化・分類モデルの性能はいかが？
• RQ5 不確実性とキャリブレーションの統合により、臨床現場での導入に耐えるロバストネスが向上し、キャリブレーション誤差が低減されるか？

主な発見

• FSAD-Netは、大腸内視鏡データにおいて最先端の少量のショット異常検出性能を達成し、既存の不均衡学習および異常検出手法を上回った。
• 不確実性推定と信頼度キャリブレーションの統合により、期待キャリブレーション誤差（ECE）と平均キャリブレーション誤差（MCE）が低減され、特にベイジアンでないモデルにおいて顕著であった。
• テストデータのうち信頼度が最も低く、不確実性が高い30％を除外することで、分類精度が最大49％向上し、平均適合度（AP）も最大48％向上した。
• 1段階での局所化・分類モデルは高い性能を示したが、誤局所化によるわずかな精度の差が生じた。
• 検出・局所化のインferencing時間は1画像あたり0.1秒未満であるが、信頼度キャリブレーションにより著しい遅延（1画像あたり2.17秒）が発生しており、最適化の必要性が示された。
• 本手法はドメイン間である程度一般化可能であるが、将来のゼロショット一般化を向上させるために、ドメイン適応および一般化技術の活用が求められる。