[論文レビュー] Pubic Symphysis-Fetal Head Segmentation Using Pure Transformer with Bi-level Routing Attention

Pengzhou Cai, Jiang, Lu+2 more|arXiv (Cornell University)|Sep 30, 2023

Cleft Lip and Palate Research被引用数 4

ひとこと要約

本稿では、経会陰超音波画像における恥骨結合・胎児頭部の正確なセグメンテーションを目的として、バイレベルルーティングアテンション（BRA）を備えた純粋なトランスフォーマー型U-Netアーキテクチャ、BRAU-Netを提案する。この手法は、粗いから細かいアテンションルーティングを活用して長距離依存性のモデリングを向上させ、FH-PS-AOPチャレンジのテストセットで最終スコア89.74を達成し、臨床的胎児頭部位置評価において優れた性能を示している。

ABSTRACT

In this paper, we propose a method, named BRAU-Net, to solve the pubic symphysis-fetal head segmentation task. The method adopts a U-Net-like pure Transformer architecture with bi-level routing attention and skip connections, which effectively learns local-global semantic information. The proposed BRAU-Net was evaluated on transperineal Ultrasound images dataset from the pubic symphysis-fetal head segmentation and angle of progression (FH-PS-AOP) challenge. The results demonstrate that the proposed BRAU-Net achieves comparable a final score. The codes will be available at https://github.com/Caipengzhou/BRAU-Net.

研究の動機と目的

• 経会陰超音波画像における恥骨結合および胎児頭部のセグメンテーションのための、強固で完全にトランスフォーマーに基づいたモデルの開発。
• 手作業によるセグメンテーションの限界、すなわち時間のかかりすぎと高い観察者間ばらつきを是正すること。
• 自動セグメンテーションと進行角度（AoP）測定を通じて、胎児頭部下降の客観的・正確で再現性のある評価の向上。
• バイレベルルーティングアテンションをU-Netに類似したアーキテクチャに統合し、局所的およびグローバルなセマンティック特徴を効果的に捉えること。
• 恥骨結合・胎児頭部セグメンテーションおよび進行角度（FH-PS-AOP）チャレンジにおいて、最先端の性能を達成すること。

提案手法

• モデルは、畳み込み層を自己アテンション機構に置き換えた純粋なトランスフォーマーのエンコーダー・デコーダーバックボーンを備えたU-Netに類似したアーキテクチャを採用する。
• コアとなるコンponentはBiFormerブロックであり、空間領域間および選択された領域内での動的アテンションルーティングを実行する。
• バイレベルルーティングは、重複しないパッチ上でのクエリおよびキーのプーリングにより領域レベルのアテンション計算を実施し、その後、最も関連性の高い領域を上位k個選択する。
• その後、トークン同士のアテンションは上位k個のルーティング領域内でのみ適用され、計算コストを削減しながらも長距離依存性を保持する。
• 局所的特徴モデリングを強化するため、5x5のディープワイズ畳み込みを用いた学習可能なローカルコンテキストエンコーダー（LCE）を追加する。
• エンコーダーからのマルチスケール特徴とデコーダーを統合するためのスキップ接続が用いられ、空間分解能を保持し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 純粋なトランスフォーマー型U-Netにバイレベルルーティングアテンションを組み合わせることで、経会陰超音波画像における恥骨結合・胎児頭部セグメンテーションで競争力のある性能を達成できるか？
• RQ2 バイレベルルーティングアテンションは、医療画像セグメンテーションにおいて計算効率を維持しながら、長距離依存性のモデリングをどのように向上させるか？
• RQ3 提案されたBRAU-Netは、胎児頭部位置評価における観察者間ばらつきを、手作業セグメンテーションと比較してどの程度低減できるか？
• RQ4 モデルはFH-PS-AOPチャレンジのテストセットに対してどの程度一般化できるか、特にDiceスコア、ハウスドルフ距離、およびAoP推定精度の観点から。
• RQ5 アテンション機構にローカルコンテキストエンコーディング（LCE）を統合することで、低コントラスト超音波画像におけるセグメンテーション精度がさらに向上するか？

主な発見

• BRAU-Netは、FH-PS-AOPチャレンジのテストセットで最終スコア89.74を達成し、優れた一般化性能と臨床的妥当性を示した。
• 胎児頭部（FH）のDice-Similarity Coefficient（DSC）は0.88、恥骨結合（PS）は0.80、統合領域（ALL）は0.87を記録した。
• ハウスドルフ距離（HD）は、胎児頭部で20.03 mm、恥骨結合で14.07 mmであり、良好な境界局所化を示している。
• 平均表面距離（ASD）は、胎児頭部で7.10 mm、恥骨結合で4.21 mmであり、高いセグメンテーション精度を反映している。
• 推定された進行角度（AOP）は12.20°であり、臨床的期待に一致しており、産科的意思決定支援におけるモデルの有効性を裏付けている。
• DSC、HD、ASD、およびAOPを組み合わせた最終スコアにおいて、すべての指標でバランスの取れた性能を達成しており、臨床的評価における堅牢性を示している。