[論文レビュー] TransUKAN:Computing-Efficient Hybrid KAN-Transformer for Enhanced Medical Image Segmentation

Yanlin Wu, Tao Li+3 more|arXiv (Cornell University)|Sep 23, 2024

Medical Image Segmentation Techniques被引用数 4

ひとこと要約

TransUKANは、従来のMLPおよびQKV投影を改善されたパラメータ効率の良いKAN（EfficientKAN）に置き換えることで、計算効率の高いハイブリッドKAN-Transformerアーキテクチャを提案する。これにより非線形モデリングの向上と計算負荷の低減が実現され、複数の医療画像データセットで最先端の性能を達成。パラメータ数は20.85Mと大幅に削減され、優れた精度、効率性、耐障害性を示している。

ABSTRACT

U-Net is currently the most widely used architecture for medical image segmentation. Benefiting from its unique encoder-decoder architecture and skip connections, it can effectively extract features from input images to segment target regions. The commonly used U-Net is typically based on convolutional operations or Transformers, modeling the dependencies between local or global information to accomplish medical image analysis tasks. However, convolutional layers, fully connected layers, and attention mechanisms used in this process introduce a significant number of parameters, often requiring the stacking of network layers to model complex nonlinear relationships, which can impact the training process. To address these issues, we propose TransUKAN. Specifically, we have improved the KAN to reduce memory usage and computational load. On this basis, we explored an effective combination of KAN, Transformer, and U-Net structures. This approach enhances the model's capability to capture nonlinear relationships by introducing only a small number of additional parameters and compensates for the Transformer structure's deficiency in local information extraction. We validated TransUKAN on multiple medical image segmentation tasks. Experimental results demonstrate that TransUKAN achieves excellent performance with significantly reduced parameters. The code will be available athttps://github.com/wuyanlin-wyl/TransUKAN.

研究の動機と目的

• 医療画像セグメンテーションにおける既存のU-NetおよびTransformerベースのモデルの高パラメータ数と計算コストの問題に対処すること。
• 画像処理における標準的なKANの限界を克服するため、メモリおよび計算量を削減するスパarsifiedで効率的なバージョン（EfficientKAN）を導入すること。
• KANをU-Netフレームワーク内のTransformer機構に統合することで、局所的特徴モデリングとグローバル依存関係学習を向上させること。
• モデルサイズとトレーニングの複雑さを大幅に削減しながら、最先端のセグメンテーション精度を達成すること。

提案手法

• 行列計算の複雑さを低減するため、平均プーリングを介してキーアクティベーション値のみを統合するスパース化されたKANのバリエーションであるEfficientKANを提案する。
• 多頭注意機構内の全結合層およびQKV投影をEfficientKANに置き換えることで、より少ないパラメータで非線形適合を向上させる。
• 空間的詳細を保持するためのスキップ接続を備えたU-Netに類似したエンコーダ-デコーダアーキテクチャに強化されたKANモジュールを統合する。
• CNN、U-Net、Transformer、KANをハイブリッドに組み合わせることで、局所的およびグローバル特徴抽出のバランスをとる。
• 標準的なMLPよりも複雑な非線形関係をより効率的にモデル化できるように、KANに学習可能な活性化関数を導入する。
• 交差検証およびアブレーションスタディを用いて、複数の医療画像データセットでアーキテクチャの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 Transformer内のMLPおよびQKV投影のKANベースの置き換えが、パラメータ数と計算量を削減しながらセグメンテーション性能を向上させることができるか？
• RQ2 EfficientKANは、標準KANおよびReLUKANと比較して、医療画像セグメンテーションタスクにおけるパラメータ効率性と性能で優れているか？
• RQ3 U-Net-TransformerハイブリッドアーキテクチャにKANを統合することで、局所的詳細抽出とグローバルコンテキストモデリングの両方を向上させることができるか？
• RQ4 提案されたTransUKANモデルは、モodalおよび解剖学的構造が異なる多様な医療画像データセットにどの程度一般化可能か？
• RQ5 既存の最先端手法と比較して、著しく少ないパラメータ数でSOTA性能を達成できるか？

主な発見

• ISICデータセットでは、TransUKANが91.17%のDiceスコアを達成し、ベースラインのTransUNet（86.30%）および他のSOTAモデルを上回った。
• Kvasirデータセットでは、TransUKANが87.75%のDiceを記録し、次に優れたモデル（86.30%）を1.45ポイント上回った。
• パラメータ数を20.85Mに削減した一方で、すべての評価済みデータセットで性能が向上し、TransUNetの105.32Mと比べて顕著に低減された。
• アブレーションスタディの結果、EfficientKANはパラメータ数とトレーニング時間を削減しながら精度を向上させたが、ReLUKANはパラメータ数を増加させ、性能を低下させた。
• TransUKANは汎用性を維持し、NKUTデータセットで90.29%のDice、MWTで89.09%のDiceを達成し、多様な解剖的構造にわたる耐障害性を示した。
• BUSI、ISIC、Kvasir、SAMを含む7つの評価済みデータセットすべてで、最先端の性能を達成し、従来手法に比して一貫した改善を示した。