[論文レビュー] ColonFormer: An Efficient Transformer based Method for Colon Polyp Segmentation

Nguyen Thanh Duc, Thi-Oanh Nguyen+3 more|arXiv (Cornell University)|May 17, 2022

Colorectal Cancer Screening and Detection被引用数 4

ひとこと要約

ColonFormerは、マルチスケールのグローバル特徴学習のための軽量階層的Transformerエンコーダと、CNNベースの階層的デコーダ、および残差接続付き軸方向アテンションを用いたリファインメントモジュールを組み合わせた、新しい効率的なTransformerベースのエンコーダデコーダネットワークであり、コロニーポリープ分類に特化している。5つのベンチマークデータセットにおいて最先端の性能を達成し、mDiceおよびmIOUの両方の指標で既存の手法を上回っている。

ABSTRACT

Identifying polyps is challenging for automatic analysis of endoscopic images in computer-aided clinical support systems. Models based on convolutional networks (CNN), transformers, and their combinations have been proposed to segment polyps with promising results. However, those approaches have limitations either in modeling the local appearance of the polyps only or lack of multi-level features for spatial dependency in the decoding process. This paper proposes a novel network, namely ColonFormer, to address these limitations. ColonFormer is an encoder-decoder architecture capable of modeling long-range semantic information at both encoder and decoder branches. The encoder is a lightweight architecture based on transformers for modeling global semantic relations at multi scales. The decoder is a hierarchical network structure designed for learning multi-level features to enrich feature representation. Besides, a refinement module is added with a new skip connection technique to refine the boundary of polyp objects in the global map for accurate segmentation. Extensive experiments have been conducted on five popular benchmark datasets for polyp segmentation, including Kvasir, CVC-Clinic DB, CVC-ColonDB, CVC-T, and ETIS-Larib. Experimental results show that our ColonFormer outperforms other state-of-the-art methods on all benchmark datasets.

研究の動機と目的

• 既存のポリープ分類モデルが局所的特徴にのみ注目しているか、多段階の空間的依存関係モデリングを欠いているという限界を是正すること。
• 低コントラストや不規則な形状のため、境界が曖昧になりがちなポリープ領域の分類精度を向上させること。
• 臨床的デプロイメントに適した、高い性能と低い計算コストのバランスを取った効率的なアーキテクチャを開発すること。
• 自己アテンションによるグローバルコンテキストモデリングと階層的特徴学習を統合し、多様な画像条件下でも頑健なポリープ検出を実現すること。

提案手法

• エンコーダは、入力画像全体にわたるマルチスケールのグローバルな意味的関係を捉えるために、軽量で階層的なTransformerアーキテクチャを採用している。
• デコーダは、U-Perのようなピラミッド構造を採用し、階層的特徴統合により、空間的理解を向上させる多段階表現を豊かにしている。
• 新規のリファインメントモジュールを導入し、残差接続を組み合わせた軸方向アテンションを用いて、段階的に分類マップを精緻化し、境界の正確性を向上させている。
• モデルは、Transformerのグローバルモデリングの強みとCNNのインダクティブバイアスを組み合わせたハイブリッドエンコーダデコーダ設計を採用している。
• リファインメントモジュールは、粗い予測をネットワークに再帰的に伝播させるスキップ接続機構を採用しており、境界エラーの是正に寄与している。
• アーキテクチャは効率性を最適化されており、アブレーションスタディにより、UPerデコーダはMLPベースのデコーダと比較してGFLOPsを30％以上削減していることが示されている。

実験結果

リサーチクエスチョン

• RQ1 軽量なTransformerベースのエンコーダは、コロニーポリープ分類のための長距離依存関係とマルチスケール特徴を効果的にモデル化できるか？
• RQ2 階層的CNNデコーダの統合は、標準的なデコーダと比較して、特徴表現をどのように向上させるか？
• RQ3 提案されたリファインメントモジュール（軸方向アテンションと残差接続を組み合わせ）は、境界分類精度をどの程度向上させるか？
• RQ4 多様なポリープ分類ベンチマークにおいて、全体のColonFormerアーキテクチャは最先端のモデルと比較して、性能と効率の両面で優れているか？
• RQ5 異なるバックボーンバージョンにおいて、モデルサイズ、計算コスト、分類精度の最適なトレードオフは何か？

主な発見

• ColonFormer-Sは、全5つのベンチマークデータセットで平均mDiceが0.854を達成し、比較したすべての最先端手法を上回った。
• ColonFormer-LはETIS-LaribデータセットでmDice 0.801、mIOU 0.722を達成し、過去のモデルを顕著に上回った。
• UPerデコーダはMLPデコーダと比較してGFLOPsを33％削減しながらも、同等の性能を維持しており、その効率性が裏付けられた。
• リファインメントモジュールは、KvasirおよびETIS-LaribデータセットでmDiceを最大0.008向上させ、境界リファインメントの有効性を示した。
• ColonFormer-LはCVC-ClinicDBでmDice 0.932、mIOU 0.884を達成し、SegFormer-B3-Uper-ARAをそれぞれ0.010および0.009上回った。
• アブレーションスタディにより、UPerデコーダと精緻化された軸方向アテンションモジュールの組み合わせが、最小限の計算オーバーヘッドで最良の全体的性能を達成することが確認された。