[論文レビュー] TransNetR: Transformer-based Residual Network for Polyp Segmentation with Multi-Center Out-of-Distribution Testing

Debesh Jha, Nikhil Kumar Tomar+2 more|arXiv (Cornell University)|Mar 13, 2023

Colorectal Cancer Screening and Detection被引用数 27

ひとこと要約

TransNetRは、事前学習済みのResNet50エンコーダとResidual Transformerブロックを組み合わせたエンコーダ-デコーダのポリープセグメンテーションモデルで、リアルタイム性能と不可分データ（OOD）への強い一般化を、多施設データセットに跨って実現します。

ABSTRACT

Colonoscopy is considered the most effective screening test to detect colorectal cancer (CRC) and its precursor lesions, i.e., polyps. However, the procedure experiences high miss rates due to polyp heterogeneity and inter-observer dependency. Hence, several deep learning powered systems have been proposed considering the criticality of polyp detection and segmentation in clinical practices. Despite achieving improved outcomes, the existing automated approaches are inefficient in attaining real-time processing speed. Moreover, they suffer from a significant performance drop when evaluated on inter-patient data, especially those collected from different centers. Therefore, we intend to develop a novel real-time deep learning based architecture, Transformer based Residual network (TransNetR), for colon polyp segmentation and evaluate its diagnostic performance. The proposed architecture, TransNetR, is an encoder-decoder network that consists of a pre-trained ResNet50 as the encoder, three decoder blocks, and an upsampling layer at the end of the network. TransNetR obtains a high dice coefficient of 0.8706 and a mean Intersection over union of 0.8016 and retains a real-time processing speed of 54.60 on the Kvasir-SEG dataset. Apart from this, the major contribution of the work lies in exploring the generalizability of the TransNetR by testing the proposed algorithm on the out-of-distribution (test distribution is unknown and different from training distribution) dataset. As a use case, we tested our proposed algorithm on the PolypGen (6 unique centers) dataset and two other popular polyp segmentation benchmarking datasets. We obtained state-of-the-art performance on all three datasets during out-of-distribution testing. The source code of TransNetR will be made publicly available at https://github.com/DebeshJha.

研究の動機と目的

• 臨床利用に適したリアルタイムで正確なポリープセグメンテーションを動機付ける。
• unseen centers or distributionsでモデルを評価した際の一般化のギャップに対処する。
• 速度を維持しつつ分布シフトに対するロバスト性を向上させるトランスフォーマー強化残差アーキテクチャを提案する。

提案手法

• エンコーダとして事前学習済みのResNet50を用いたエンコーダ-デコーダアーキテクチャ。
• エンコーダの中間特徴マップ4つを1x1畳み込みで圧縮し、スキップ接続付きの3ブロックデコーダへ入力。
• Residual Transformer (RT) ブロックは畳み込み特徴とトランスフォーマー基づく自己注意を融合。
• 最終デコーダ段はRTの代わりに残差ブロックを用いてパラメータ数を削減し、その後アップサンプリングとシグモイド1x1畳み込みでセグメンテーション。

Figure 1: Illustration of different scenarios expected to arise in real-world settings. The proposed work conducted both in-distribution and out-of-distribution validation process. C1 to C6 represent the different centers data present in PolypGen [ Ali et al.(2023)Ali, Jha, Ghatwary, Realdon, Canniz

実験結果

リサーチクエスチョン

• RQ1 TransNetRは、インディストリビューション内のポリープセグメンテーションベンチマークで最先端手法と比較してどの程度性能を発揮するか？
• RQ2 TransNetRは複数センター/データセットからのOODデータに一般化できるか（OODテスト）？
• RQ3 Residual Transformerブロックがセグメンテーション精度およびモデル効率に及ぼす影響は？
• RQ4 多様なデータセットで高品質なセグメンテーションを維持しつつリアルタイム推論速度を確保できるか？

主な発見

方法	mIoU	mDSC	Rec.	Prec.	F2	FPS	Para.	Flops
U-Net	0.7472	0.8264	0.8504	0.8703	0.8353	106.88	31.04	54.75
U-Net++	0.7420	0.8228	0.8437	0.8607	0.8295	81.34	9.16	34.65
ResU-Net++	0.5341	0.6453	0.6964	0.7080	0.6576	43.11	4.06	15.81
HarDNet-MSEG	0.7459	0.8260	0.8485	0.8652	0.8358	34.80	33.34	6.02
ColonSegNet	0.6980	0.7920	0.8193	0.8432	0.7999	73.95	5.01	62.16
UACANet	0.7692	0.8502	0.8799	0.8706	0.8626	25.85	69.16	31.51
UNeXt	0.6284	0.7318	0.7840	0.7656	0.7507	87.47	1.47	0.57
TransNetR (Ours)	0.8016	0.8706	0.8843	0.9073	0.8744	54.60	27.27	10.58

• TransNetRはKvasir-SEGテストセットでDice係数0.8706、mean IoU 0.8016、リコール0.8843、適合率0.9073を54.60 FPSで達成。
• OODテスティングではPolypGen（6センター）、BKAI-IGH、CVC-ClinicDBデータセットで最先端の性能を発揮。
• アブレーションによりResidual Transformer（RT）ブロックはRTなしの変種と比較して指標を改善（例：mIoU+1.34%）しつつリアルタイム速度を維持。
• 複数のOOD評価において、TransNetRは中心別およびデータセット別の分析で競合他社（UACANetやUNeXt）を一貫して上回り、mIoUとDSCで優位。
• センター別の結果は、多様なセンターからのデータに対してロバストな性能を示し、小さなポリップや複数のポリップを含むケースでも境界の正確な描写を達成。

Figure 2: Block diagram of TransNetR along with the Residual Transformer block