[論文レビュー] COTR: Convolution in Transformer Network for End to End Polyp Detection

Zhi-Qiang Shen, Chaonan Lin+1 more|arXiv (Cornell University)|May 23, 2021

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、畳み込み層を変換器エンコーダーブロック内に統合することで収束を加速し、特徴再構成を向上させる、COTRと呼ばれる新しいエンドツーエンドのポリープ検出モデルを提案する。ETIS-LARIBおよびCVC-ColonDBで評価した結果、ETIS-LARIBでは91.49%の精度、82.69%の感度、86.87%のF1スコアを達成し、CVC-ColonDBでは91.67%の精度、93.54%の感度、92.60%のF1スコアを記録した。手作業による前処理や後処理ステップに依存せず、最先端の性能を示した。

ABSTRACT

Purpose: Colorectal cancer (CRC) is the second most common cause of cancer mortality worldwide. Colonoscopy is a widely used technique for colon screening and polyp lesions diagnosis. Nevertheless, manual screening using colonoscopy suffers from a substantial miss rate of polyps and is an overwhelming burden for endoscopists. Computer-aided diagnosis (CAD) for polyp detection has the potential to reduce human error and human burden. However, current polyp detection methods based on object detection framework need many handcrafted pre-processing and post-processing operations or user guidance that require domain-specific knowledge. Methods: In this paper, we propose a convolution in transformer (COTR) network for end-to-end polyp detection. Motivated by the detection transformer (DETR), COTR is constituted by a CNN for feature extraction, transformer encoder layers interleaved with convolutional layers for feature encoding and recalibration, transformer decoder layers for object querying, and a feed-forward network for detection prediction. Considering the slow convergence of DETR, COTR embeds convolution layers into transformer encoder for feature reconstruction and convergence acceleration. Results: Experimental results on two public polyp datasets show that COTR achieved 91.49\% precision, 82.69% sensitivity, and 86.87% F1-score on the ETIS-LARIB, and 91.67% precision, 93.54% sensitivity, and 92.60% F1-score on the CVC-ColonDB. Conclusion: This study proposed an end to end detection method based on detection transformer for colorectal polyp detection. Experimental results on ETIS-LARIB and CVC-ColonDB dataset demonstrated that the proposed model achieved comparable performance against state-of-the-art methods.

研究の動機と目的

• 内視鏡検査における高い見逃し率と作業負荷を軽減するため、ポリープ検出のエンドツーエンドコンピュータ支援診断（CAD）システムの開発を目的とする。
• 特に限られた数の複雑なポリープデータセットを対象とした場合に、標準的なトランスフォーマーが示す遅い収束速度と劣悪な特徴整理の問題を克服することを目的とする。
• 従来のオブジェクト検出フレームワークで一般的に用いられるアンカー生成や非最大抑制などの手作業による前処理・後処理処理に依存しないことを目的とする。
• 多様なテクスチャ、形状、背景組織との低コントラストを示すポリープに対しても検出のロバスト性を向上させることを目的とする。

提案手法

• COTRは、大腸内視鏡画像からの初期特徴抽出にCNNバックボーンを採用する。
• 畳み込み層と変換器エンコーダーレイヤーを交互に配置することで、高レベルの画像特徴を再構成し、学習の安定性を高める。
• モデルは、可学習なオブジェクトクエリを用いた変換器デコーダーを採用し、境界ボックスとクラススコアを直接予測する。
• フィードフォワードネットワークがデコーダー出力をもとに最終的な検出予測を生成する。
• 変換器エンコーダー内に畳み込みを統合することで、空間的構造を保持し、標準的な DETR よりも収束を高速化する。
• 一般化性能を向上させるために、データオーグメンテーションを併用したエンドツーエンドの学習を、AdamW最適化法を用いて300エポック分実施する。

実験結果

リサーチクエスチョン

• RQ1 手作業によるコンponentsに依存せずに、トランスフォーマーに基づくオブジェクト検出器がエンドツーエンドのポリープ検出で競争力のある性能を達成できるか？
• RQ2 変換器エンコーダーに畳み込み層を挿入することで、ポリープ検出における収束速度と特徴表現にどのような影響を与えるか？
• RQ3 提案されたCOTRモデルは、公的ポリープ検出ベンチマークで既存の最先端手法を上回る性能を示すか？
• RQ4 低コントラストで不規則な形状を示す、小規模またはステイプル型ポリープの検出に、モデルは有効に機能するか？

主な発見

• ETIS-LARIBデータセットでは、COTRは91.49%の精度、82.69%の感度、86.87%のF1スコアを達成し、精度とF1スコアの両面で多数の既存手法を上回った。
• CVC-ColonDBデータセットでは、COTRは91.67%の精度、93.54%の感度、92.60%のF1スコアを達成し、このベンチマークで新たな最先端性能を樹立した。
• COTRの学習損失は、DETRよりも顕著に早く収束した。これは、エンコーダー内に畳み込み層を統合することで、空間的特徴構造を保持し、収束を促進する効果があることを裏付けた。
• COTRは、多様なテクスチャ、形状、色を示すポリープ、特に小規模なポリープに対してもロバストに検出できたが、一部のステイプル型ポリープについては信頼度が低いため、検出に難渋することがあった。
• 残留液や低コントラストの背景を伴う多様な内視鏡条件に対しても、モデルの性能は安定していた。
• アブレーションスタディの結果、変換器エンコーダーへの畳み込みの統合が収束加速と検出精度の向上に不可欠であることが確認された。