[論文レビュー] ProMamba: Prompt-Mamba for polyp segmentation

Jianhao Xie, Ruofan Liao+4 more|arXiv (Cornell University)|Mar 20, 2024

Natural Language Processing Techniques被引用数 8

ひとこと要約

ProMamba は Vision-Mamba とプロンプト技術を用いたポリープセグメンテーションで、データセットを横断した強い一般化性能と、6つのデータセット全体で平均約5%の向上を達成します。

ABSTRACT

Detecting polyps through colonoscopy is an important task in medical image segmentation, which provides significant assistance and reference value for clinical surgery. However, accurate segmentation of polyps is a challenging task due to two main reasons. Firstly, polyps exhibit various shapes and colors. Secondly, the boundaries between polyps and their normal surroundings are often unclear. Additionally, significant differences between different datasets lead to limited generalization capabilities of existing methods. To address these issues, we propose a segmentation model based on Prompt-Mamba, which incorporates the latest Vision-Mamba and prompt technologies. Compared to previous models trained on the same dataset, our model not only maintains high segmentation accuracy on the validation part of the same dataset but also demonstrates superior accuracy on unseen datasets, exhibiting excellent generalization capabilities. Notably, we are the first to apply the Vision-Mamba architecture to polyp segmentation and the first to utilize prompt technology in a polyp segmentation model. Our model efficiently accomplishes segmentation tasks, surpassing previous state-of-the-art methods by an average of 5% across six datasets. Furthermore, we have developed multiple versions of our model with scaled parameter counts, achieving better performance than previous models even with fewer parameters. Our code and trained weights will be released soon.

研究の動機と目的

• 大腸内視鏡検査に基づく臨床判断を支援するため、正確なポリープセグメンテーションを動機づける。
• データセット間でのポリープの形状・色のばらつきと境界の不明瞭さに対処する。
• 訓練データを超えた未見データセットへの一般化を改善する。

提案手法

• Vision-Mamba アーキテクチャに基づくポリープセグメンテーションのための Prompt-Mamba を導入する。
• セグメンテーションを導くためにプロンプト技術を組み込み、境界の描写を改善する。
• 以前の手法と比較して未見データセットで高い精度を示し、スケーラブルなパラメータ数を使用する。
• モデルが6つのデータセットで平均約5%の値で従来の最先端を上回ることを報告する。

実験結果

リサーチクエスチョン

• RQ1 Prompt を備えた Vision-Mamba は未見データセットにおけるポリープセグメンテーションの精度を向上させることができますか？
• RQ2 Prompt-Mamba は従来手法よりも多様なポリープデータセット間で一般化しますか？
• RQ3 ProMamba の異なるパラメータ数は性能と効率性にどのように影響しますか？
• RQ4 Vision-Mamba とプロンプトをポリープセグメンテーションに用いるのは初めての適用ですか、そして実証的な利得は何ですか？

主な発見

• 本モデルは未見データセットでより高いセグメンテーション精度を達成し、強力な一般化を示しています。
• ProMamba は6つのデータセットで従来の最先端手法を平均で約5%上回ります。
• パラメータ数を拡張した複数のモデル変種は、パラメータ数が少なくてもより良い性能を達成します。
• Vision-Mamba をポリープセグメンテーションに初めて適用し、ポリープセグメンテーションモデルでプロンプトを初めて使用します。
• コードと学習済み重みの公開を計画しています。