[論文レビュー] XBound-Former: Toward Cross-scale Boundary Modeling in Transformers

Jiacheng Wang, Fei Chen+7 more|arXiv (Cornell University)|Jun 2, 2022

Cutaneous Melanoma Detection and Management被引用数 5

ひとこと要約

XBound-Formerは、3つの専用のアテンションベースの学習者を用いて、暗黙的・明示的・クロススケール境界モデリングを統合するクロススケール境界認識トランスフォーマーを提案する。これは、ISIC-2016&PH2およびISIC-2018データセットにおいて、CNNおよびトランスフォーマー基盤のモデルを上回る最先端の性能を達成し、境界関連指標において特に優れた結果を示す。

ABSTRACT

Skin lesion segmentation from dermoscopy images is of great significance in the quantitative analysis of skin cancers, which is yet challenging even for dermatologists due to the inherent issues, i.e., considerable size, shape and color variation, and ambiguous boundaries. Recent vision transformers have shown promising performance in handling the variation through global context modeling. Still, they have not thoroughly solved the problem of ambiguous boundaries as they ignore the complementary usage of the boundary knowledge and global contexts. In this paper, we propose a novel cross-scale boundary-aware transformer, extbf{XBound-Former}, to simultaneously address the variation and boundary problems of skin lesion segmentation. XBound-Former is a purely attention-based network and catches boundary knowledge via three specially designed learners. We evaluate the model on two skin lesion datasets, ISIC-2016\&PH$^2$ and ISIC-2018, where our model consistently outperforms other convolution- and transformer-based models, especially on the boundary-wise metrics. We extensively verify the generalization ability of polyp lesion segmentation that has similar characteristics, and our model can also yield significant improvement compared to the latest models.

研究の動機と目的

• 皮膚腫瘍の境界が曖昧で多様であるため、皮膚科医ですら困難な、皮膚鏡画像における境界の特定の課題に対処する。
• 従来のビジョントランスフォーマーが、マルチスケールでの境界知識とグローバルコンテキストを効果的に活用できないという限界を克服する。
• 畳み込みによるインダクティブバイアスに依存せず、完全にアテンションベースのアーキテクチャを構築し、境界の監視を統合する。
• 複数スケールでの境界の明示的モデリングとクロススケールガイドランスの導入により、セグメンテーションの正確性を向上させる。
• 境界の曖昧さが類似する他の医療画像セグメンテーションタスク（例：ポリープセグメンテーション）への汎用性を実証する。

提案手法

• 境界の変動が著しい領域に自己アテンションを集中させる暗黙的境界学習者（im-Bound）を導入し、局所的コンテキストを強化するとともに、グローバルモデリングを維持する。
• 複数スケールで境界キーポイントを検出・埋め込み、マルチスケールの境界表現を提供する明示的境界学習者（ex-Bound）を提案する。
• あるスケールからの境界埋め込みを用いて、他のスケールでのアテンションをガイドするクロススケール境界学習者（X-Bound）を設計し、クロススケールの境界精錬を可能にする。
• バックボーン重みを共有しない二重ブランチトランスフォーマー構造を採用し、境界知識の学習と統合を実現することで、タスク間の干渉を低減する。
• 動的アテンションを境界認識特徴に向けられるように学習可能なクエリメカニズムを採用し、境界監視を自己アテンション機構に直接統合する。
• 標準的なセグメンテーション損失と境界認識監視を組み合わせた最適化手法を採用し、各構成要素の有効性をアブレーションスタディで検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みによるインダクティブバイアスに依存せず、完全にアテンションベースのトランスフォーマーが、皮膚腫瘍セグメンテーションにおける曖昧な境界を効果的にモデリングできるか？
• RQ2 マルチスケールの境界表現学習は、サイズ・形状・コントラストが変動する腫瘍のセグメンテーション性能をどのように向上させるか？
• RQ3 異なる解像度の特徴間におけるクロススケールガイドランスは、境界局所化の正確性をどの程度向上させるか？
• RQ4 提案された境界モデリングコンponentsは、皮膚腫瘍セグメンテーションを越えて、類似の課題を有する他の医療画像分野（例：ポリープセグメンテーション）へ汎用可能か？
• RQ5 境界学習者の数をスケーリングする際の、モデルの複雑さと性能の最適なトレードオフは何か？

主な発見

• XBound-Formerは、ISIC-2016&PH2およびISIC-2018の両データセットで最先端の性能を達成し、DSCやHDといった境界関連指標で顕著な向上を示した。
• アブレーションスタディにより、im-Bound、ex-Bound、X-Boundの3つのコンponentが性能向上に寄与していることが確認され、特にX-Boundが境界正確性の向上に最も寄与した。
• 従来のCNNベースおよびトランスフォーマー基盤の手法を上回り、境界が曖昧または明確でない腫瘍において顕著な優位性を示した。
• ポリープセグメンテーションへの汎用性が実証され、同ベンチマーク上での最新モデルを上回る顕著な性能向上を達成した。
• 最適な構成は、2つのim-Boundと2つのex-Bound学習者（N_im=2, N_ex=2）を用いたものであり、正確性と推論効率のバランスが取れていた。
• 強力な性能を発揮する一方で、極めてコントラストが低い腫瘍に対しては依然として困難を示しており、低レベル特徴抽出器との統合によってさらなる改善の余地があることが示唆された。