[論文レビュー] Cooperation Learning Enhanced Colonic Polyp Segmentation Based on Transformer-CNN Fusion

Yuanyuan Wang, Zhaohong Deng+4 more|arXiv (Cornell University)|Jan 17, 2023

Colorectal Cancer Screening and DetectionMedicine被引用数 3

ひとこと要約

本稿では、マルチビュー協調学習とデュアルブランチ統合モジュールを用いて特徴抽出を強化する、新しいトランスフォーマー-CNNハイブリッドネットワークであるFu-TransHNetを提案する。ETIS-LaribPolypDBデータセットにおいて、HardNet-MSEGと比較して12.4%、TransFuse-sと比較して6.2%のmDice向上を達成し、特に小規模なポリープのセグメンテーションで優れた性能を発揮する。

ABSTRACT

Traditional segmentation methods for colonic polyps are mainly designed based on low-level features. They could not accurately extract the location of small colonic polyps. Although the existing deep learning methods can improve the segmentation accuracy, their effects are still unsatisfied. To meet the above challenges, we propose a hybrid network called Fusion-Transformer-HardNetMSEG (i.e., Fu-TransHNet) in this study. Fu-TransHNet uses deep learning of different mechanisms to fuse each other and is enhanced with multi-view collaborative learning techniques. Firstly, the Fu-TransHNet utilizes the Transformer branch and the CNN branch to realize the global feature learning and local feature learning, respectively. Secondly, a fusion module is designed to integrate the features from two branches. The fusion module consists of two parts: 1) the Global-Local Feature Fusion (GLFF) part and 2) the Dense Fusion of Multi-scale features (DFM) part. The former is built to compensate the feature information mission from two branches at the same scale; the latter is constructed to enhance the feature representation. Thirdly, the above two branches and fusion modules utilize multi-view cooperative learning techniques to obtain their respective weights that denote their importance and then make a final decision comprehensively. Experimental results showed that the Fu-TransHNet network was superior to the existing methods on five widely used benchmark datasets. In particular, on the ETIS-LaribPolypDB dataset containing many small-target colonic polyps, the mDice obtained by Fu-TransHNet were 12.4% and 6.2% higher than the state-of-the-art methods HardNet-MSEG and TransFuse-s, respectively.

研究の動機と目的

• 従来の低レベル特徴に基づく手法では、小規模な大腸ポリープのセグメンテーションが不正確であるという課題に対処すること。
• トランスフォーマーによるグローバルコンテキストとCNNによるローカルディテールを統合することで、セグメンテーション精度を向上させること。
• マルチスケール統合モジュールとマルチビュー協調学習を用いて、特徴表現を強化すること。
• 特に小規模ポリープ検出に優れた性能を示す、ベンチマークデータセット上で優れた性能を達成すること。

提案手法

• ネットワークは二重ブランチアーキテクチャを採用：トランスフォーマーブランチはグローバル特徴抽出を、CNNブランチはローカル特徴抽出を担当する。
• グローバルローカル特徴統合（GLFF）モジュールは、同じスケールでの両ブランチの特徴を統合し、欠落した情報を補完する。
• マルチスケール特徴の密度的統合（DFM）モジュールは、ブランチ間のマルチスケール特徴を集約することで、特徴表現を強化する。
• マルチビュー協調学習は、各ブランチおよび統合モジュールに動的重みを割り当て、包括的な最終意思決定を可能にする。
• 統合モジュールは、アテンションベースのグローバルコンテキストと畳み込みによるローカルパターンを重み付き統合で統合する。
• ネットワーク全体は、バックプロパゲーションで最適化されるセグメンテーション損失関数を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 従来の手法と比較して、ハイブリッドトランスフォーマー-CNNアーキテクチャは、小規模大腸ポリープのセグメンテーション精度を向上させることができるか？
• RQ2 マルチビュー協調学習は、ポリープセグメンテーションにおける特徴統合をどの程度効果的に向上させることができるか？
• RQ3 提案された統合モジュールは、標準的な連結や要素ごとの演算と比較して、グローバルおよびローカル特徴をより効果的に保持できるか？
• RQ4 本モデルは、ポリープのサイズや外観が異なる多様なベンチマークデータセットにおいて、どの程度一般化性能を示すか？

主な発見

• ETIS-LaribPolypDBデータセットにおいて、Fu-TransHNetは最先端手法であるHardNet-MSEGと比較して12.4%高いmDiceスコアを達成した。
• 同様に、多数の小規模ポリープを含む同データセットにおいて、TransFuse-sと比較してmDiceが6.2%向上した。
• Fu-TransHNetは、広く用いられる5つのベンチマークデータセットにおいて、既存手法を上回り、一貫した一般化性能を示した。
• アブレーションスタディの結果、GLFFおよびDFMモジュールの両方が性能向上に顕著な寄与を果たしていることが確認された。
• マルチビュー協調学習機構は、トランスフォーマーとCNNブランチの寄与を効果的にバランスさせ、モデルのロバスト性を向上させた。