[論文レビュー] ConvTransSeg: A Multi-resolution Convolution-Transformer Network for Medical Image Segmentation

Zhendi Gong, Andrew P. French+2 more|arXiv (Cornell University)|Oct 13, 2022

AI in cancer detection被引用数 4

ひとこと要約

本稿では、局所的特徴抽出にマルチリゾリューション畳み込みニューラルネットワーク（CNN）エンコーダーを、長距離の文脈モデリングにマルチリゾリューションTransformerデコーダーを用いるハイブリッド医療画像セグメンテーションモデルであるConvTransSegを提案する。本手法は、事前学習を必要とせず、モデルの複雑さが低く抑えられているにもかかわらず、ISIC2018、CVC-ClinicDB、その他の公的データセットにおいて、最先端の性能を達成しており、Dice係数および平均対称表面距離の両面で、CNNオンリーやTransformerオンリーのベースラインを上回っている。

ABSTRACT

Convolutional neural networks (CNNs) achieved the state-of-the-art performance in medical image segmentation due to their ability to extract highly complex feature representations. However, it is argued in recent studies that traditional CNNs lack the intelligence to capture long-term dependencies of different image regions. Following the success of applying Transformer models on natural language processing tasks, the medical image segmentation field has also witnessed growing interest in utilizing Transformers, due to their ability to capture long-range contextual information. However, unlike CNNs, Transformers lack the ability to learn local feature representations. Thus, to fully utilize the advantages of both CNNs and Transformers, we propose a hybrid encoder-decoder segmentation model (ConvTransSeg). It consists of a multi-layer CNN as the encoder for feature learning and the corresponding multi-level Transformer as the decoder for segmentation prediction. The encoder and decoder are interconnected in a multi-resolution manner. We compared our method with many other state-of-the-art hybrid CNN and Transformer segmentation models on binary and multiple class image segmentation tasks using several public medical image datasets, including skin lesion, polyp, cell and brain tissue. The experimental results show that our method achieves overall the best performance in terms of Dice coefficient and average symmetric surface distance measures with low model complexity and memory consumption. In contrast to most Transformer-based methods that we compared, our method does not require the use of pre-trained models to achieve similar or better performance. The code is freely available for research purposes on Github: (the link will be added upon acceptance).

研究の動機と目的

• 医療画像セグメンテーションにおけるCNNの長距離依存性の捉えにくさを解消すること。
• 小さな医療データセットにおける純粋なTransformerモデルの局所的特徴学習の欠如を克服すること。
• CNNの特徴抽出（局所的特徴）とTransformerの長距離文脈モデリング（長距離コンテキスト）の長所を組み合わせたハイブリッドアーキテクチャを、マルチリゾリューションフレームワーク内で設計すること。
• 事前学習モデルに依存せずに、低いモデル複雑性とメモリ消費量で高いセグメンテーション精度を達成する手法を開発すること。
• 柔軟な入力サイズと、小さな医療画像データセットにおける効率的な学習を可能にすること。

提案手法

• モデルは、入力画像からの階層的でマルチリゾリューションな局所的特徴を抽出するために、マルチレイヤーCNNをエンコーダーとして採用する。
• デコーダーは、自己注意機構を用いて画像領域間の長距離依存性をモデル化するマルチレベルのTransformerである。
• エンコーダーとデコーダーの特徴量は、複数スケールで計算効率の良いリサンプリングおよびリシェーピング操作によって接続される。
• アーキテクチャは、特徴量の解像度をネットワーク全体で維持するように設計されており、局所的およびグローバルなコンテキストの有効な統合を可能にしている。
• 標準のセグメンテーション損失関数を用いて、大規模データセットでの事前学習を必要とせず、エンドツーエンドで学習される。
• 複数スケールでのマルチリゾリューション特徴量の相互作用は、空間情報を保持するスキップのような接続によって実現される。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-Transformerアーキテクチャは、純粋なCNNおよび純粋なTransformerモデルを上回る性能を示せるか？
• RQ2 CNNエンコーダーとTransformerデコーダーを組み合わせることで、事前学習を必要とせずに小さな医療データセットでも性能が向上するか？
• RQ3 エンコーダーとデコーダー間のマルチリゾリューション特徴量の相互作用は、セグメンテーション精度とモデル効率にどのように影響するか？
• RQ4 提案手法は、パラメータ数が少なく、メモリ使用量も抑える一方で、Dice係数および平均対称表面距離の両面で最先端の結果を達成できるか？
• RQ5 低コントラストなケース（例：ポリープや皮膚腫瘍のセグメンテーション）に対して、本手法はどれほど頑健であるか？

主な発見

• ConvTransSegは、ISIC2018、CVC-ClinicDB、Pannuke、OASIS-1を含むすべての評価データセットで最高の平均Dice係数を達成し、比較されたすべての手法を上回った。
• すべてのデータセットで最低の平均対称表面距離（ASSD）を達成しており、境界の局所化精度が優れていることを示している。
• CVC-ClinicDBポリープデータセットでは、低コントラストケースで苦戦するResUNetを著しく上回り、他のTransformerベースのモデルと同等またはそれ以上の性能を示した。
• 競合モデルよりも少ない学習可能なパラメータ数で、高速な収束を達成しており、高い効率性を示している。
• 定性的な結果から、同様の強度パターンを示す前景と背景のケースにおいて、ConvTransSegはResUNetや他のTransformerベースのモデルよりもより正確な予測を生成した。
• 小さなまたは不規則な形状の領域（例：ポリープ）の検出においても、他の手法が失敗したり過剰にセグメンテーションを生成するケースに対しても、本手法は頑健であることが示された。