[論文レビュー] Laplacian-Former: Overcoming the Limitations of Vision Transformers in Local Texture Detection

Reza Azad, Amirhossein Kazerouni+5 more|arXiv (Cornell University)|Aug 31, 2023

AI in cancer detectionComputer Science被引用数 3

ひとこと要約

Laplacian-Former は、ラプラシアンピラミッドを用いて高周波成分を保持する双子のアテンションメカニズム（効率的アテンションと周波数アテンション）を統合した、トランスフォーマーに基づく新規アーキテクチャを提案する。このアーキテクチャは、局所的なテクスチャ検出を向上させ、事前学習を用いない状態を達成し、マルチオーガンおよび皮膚腫瘍画像分類ベンチマークでそれぞれ +1.87% および +0.76% のDiceスコア向上を達成し、既存のCNNおよびハイブリッドモデルを上回る最先端の性能を発揮する。

ABSTRACT

Vision Transformer (ViT) models have demonstrated a breakthrough in a wide range of computer vision tasks. However, compared to the Convolutional Neural Network (CNN) models, it has been observed that the ViT models struggle to capture high-frequency components of images, which can limit their ability to detect local textures and edge information. As abnormalities in human tissue, such as tumors and lesions, may greatly vary in structure, texture, and shape, high-frequency information such as texture is crucial for effective semantic segmentation tasks. To address this limitation in ViT models, we propose a new technique, Laplacian-Former, that enhances the self-attention map by adaptively re-calibrating the frequency information in a Laplacian pyramid. More specifically, our proposed method utilizes a dual attention mechanism via efficient attention and frequency attention while the efficient attention mechanism reduces the complexity of self-attention to linear while producing the same output, selectively intensifying the contribution of shape and texture features. Furthermore, we introduce a novel efficient enhancement multi-scale bridge that effectively transfers spatial information from the encoder to the decoder while preserving the fundamental features. We demonstrate the efficacy of Laplacian-former on multi-organ and skin lesion segmentation tasks with +1.87\% and +0.76\% dice scores compared to SOTA approaches, respectively. Our implementation is publically available at https://github.com/mindflow-institue/Laplacian-Former

研究の動機と目的

• 視覚変換器（ViT）がエッジやテクスチャといった高周波成分を捉えられることの限界を是正すること。これは、医用画像分類において極めて重要である。
• 特に腫瘍や病変における微細なテクスチャパターンの検出において、CNNと比較して局所的特徴表現が劣るViTモデルの課題を克服すること。
• CNNバックボーンや重い事前学習に依存せず、マルチスケールの空間的および周波数的情報を保持する、計算効率の良い純トランスフォーマー基盤のアーキテクチャを設計すること。
• 周波数に敏感なアテンションメカニズムを強化することで、低コントラストで変動が激しい医用画像における境界検出および分類精度を向上させること。
• スタンドアロンのトランスフォーマーが、マルチオーガンおよび皮膚腫瘍画像分類タスクにおいて、ハイブリッドおよびCNNベースの最先端モデルを上回ることを実証すること。

提案手法

• 自己アテンションブロック内に二重アテンションメカニズムを提案：計算量の二次的増加を線形に抑える効率的アテンションと、高周波成分を強調する周波数アテンションを統合。
• ラプラシアンピラミッドに基づく周波数アテンションモジュールを導入し、スケールをまたいでテクスチャおよびエッジの詳細を強調することで、特徴マップを動的に再キャリブレーション。
• エンコーダからデコーダへと空間的および周波数に敏感な特徴を転送する効率的なマルチスケールブリッジモジュールを設計。微細なディテールを保持。
• 事前学習なしでスクラッチから訓練するU字型アーキテクチャを採用。局所的およびグローバル表現のエンドツーエンド最適化を可能に。
• マルチスケールのラプラシアン特徴に対して作用する学習可能な周波数アテンションヘッドを導入。特徴空間内のテクスチャ関連領域を選択的に増幅。
• 効率的アテンションと周波数アテンションを共有アテンションブロック内で統合。パラメータ効率的かつ高性能な特徴学習を実現。

Figure 1 : Architecture of our proposed Laplacian-Former.

実験結果

リサーチクエスチョン

• RQ1 純トランスフォーマー基盤のアーキテクチャは、医用画像における局所的テクスチャおよびエッジ検出において、CNNおよびハイブリッドモデルを上回ることができるか？
• RQ2 自己アテンションメカニズムをどのように変更すれば、テクスチャやエッジ情報といった高周波成分をより効果的に保持できるか？
• RQ3 ラプラシアンピラミッドをアテンションメカニズムに統合することで、視覚変換器における局所的特徴表現にどのような影響を与えるか？
• RQ4 マルチスケールの周波数に敏感なアテンションメカニズムは、マルチオーガンおよび皮膚腫瘍画像分類といった挑戦的な医用画像タスクにおける分類性能を向上させるか？
• RQ5 軽量で効率的なアテンションメカニズムは、計算複雑性を低減しつつ、性能を維持できるか？

主な発見

• Synapseマルチオーガン分類ベンチマークにおいて、Laplacian-FormerはSOTA手法（HiFormerやSwin-Unetなど）を上回り、+1.87%のDiceスコア向上を達成。
• ISIC 2018皮膚腫瘍画像分類データセットでは、Laplacian-FormerがDiceスコア0.9128を達成。Swin-Unet（0.8946）およびTMU-Net（0.9059）を上回り、SOTA比で+0.76%の向上を示した。
• アブレーションスタディの結果、マルチスケールブリッジを削除するとDiceスコアが2.91%低下し、空間的および周波数情報の保持に不可欠であることが確認された。
• スペクトル応答解析により、Laplacian-Formerは標準的なトランスフォーマーと比較して高周波成分をより効果的に保持していることが確認され、特に深層部において顕著であった。
• 胆嚢、肝臓、胃などの臓器において優れた境界明確化を達成。膵臓分類においても誤検出が少なく、より良好な結果を示した。
• 事前学習なしでスクラッチから訓練されたにもかかわらず、Laplacian-Formerはすべてのベースライン（事前学習済みモデルも含む）を上回り、優れた汎化性能および学習能力を示した。

Figure 2 : The structure of our frequency enhancement Transformer block.