[論文レビュー] SwinVFTR: A Novel Volumetric Feature-learning Transformer for 3D OCT Fluid Segmentation

Khondker Fariha Hossain, Sharif Amit Kamran+3 more|arXiv (Cornell University)|Mar 16, 2023

Retinal Imaging and AnalysisMedicine被引用数 3

ひとこと要約

SwinVFTR は、光学干渉断層画像（OCT）ボリュームにおける正確なフラUID分離を目的とした新しい 3D ボリュームトランスフォーマー・アーキテクチャである。チャネル単位のボリュームサンプリング、シフトウィンドウ注意機構を備えた変更版スウィントランスフォーマー、およびマルチリセプティブフィールドリサイジブブロックを採用し、ボリューム注意スキップ接続を実装することで、Spectralis、Cirrus、Topcon OCT データセット上でそれぞれ 0.72、0.59、0.68 の平均 Dice スコアを達成し、最先端の性能を実現した。

ABSTRACT

Accurately segmenting fluid in 3D optical coherence tomography (OCT) images is critical for detecting eye diseases but remains challenging. Traditional autoencoder-based methods struggle with resolution loss and information recovery. While transformer-based models improve segmentation, they arent optimized for 3D OCT volumes, which vary by vendor and extraction technique. To address this, we propose SwinVFTR, a transformer architecture for precise fluid segmentation in 3D OCT images. SwinVFTR employs channel-wise volumetric sampling and a shifted window transformer block to improve fluid localization. Moreover, a novel volumetric attention block enhances spatial and depth-wise attention. Trained using multi-class dice loss, SwinVFTR outperforms existing models on Spectralis, Cirrus, and Topcon OCT datasets, achieving mean dice scores of 0.72, 0.59, and 0.68, respectively, along with superior performance in mean intersection-over-union (IOU) and structural similarity (SSIM) metrics.

研究の動機と目的

• 3D OCT フラUID分離における自己符号化モデルの限界、特に解像度の低下と特徴再構成の不十分さを是正すること。
• ボリュームOCTデータにおいて深さの文脈を欠如させる既存の 2D トランスフォーマーモデルの欠点を克服すること。
• 異なる OCT デバイスの出力に一般化可能な 3D 対応でベンダーに依存しない分離モデルを開発すること。
• 網膜層内の微細なフラUID境界および小さなフラUID沈着部の局在化を向上させること。
• Dice、IOU、SSIM メトリクスを用いたマルチクラスフラUID分離において優れた性能を達成すること。

提案手法

• 深さ方向（Bスキャン）に沿って OCT ボリュームをチャネル単位でクロップするチャネル単位のボリュームサンプリング技術を提案し、空間解像度を保持するとともに、変動する深さサイズに適応する。
• シフトウィンドウ自己注意機構を備えた変更版スウィントランスフォーマーブロックに加え、畳み込みと拡張畳み込みを組み合わせたマルチリセプティブフィールド（MRF）リサイジブサブブロックを導入し、特徴学習を強化する。
• エンコーダとデコーダ間のスキップ接続に、標準的なリサイジブ接続に代わる新規なボリューム注意（VA）ブロックを採用し、空間的および深さ方向の注意融合を可能にする。
• マルチスケール特徴融合を備えた 3D 畳み込みデコーダを用いて、高解像度の分離マップを再構築する。
• イントラレチナリットフラUID（IRF）、シーブリタリットフラUID（SRF）、ピグメンテーション上皮剥離（PED）の分類を最適化するため、マルチクラス Dice 損失を用いてモデルを訓練する。
• データ増強およびハイパーパramータチューニング（学習率、バッチサイズ、エポック数）を適用し、3 つのベンダー特有のデータセット全体で性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 3D トランスフォーマーベースのアーキテクチャは、既存の 2D や 3D CNN/トランスフォーマーモデルに比べ、3D OCT ボリュームにおけるフラUID領域分離で優れた性能を示せるか？
• RQ2 チャネル単位のボリュームサンプリングは、異なるベンダー間で深さ（Bスキャン数）が異なる OCT データセットに対しても、有効な学習を可能にするか？
• RQ3 提案されたボリューム注意ブロックは、標準的なリサイジブスキップ接続と比較して、どの程度分離精度を向上させるか？
• RQ4 マルチリセプティブフィールドリサイジブブロックの統合により、スウィントランスフォーマーエンコーダにおける特徴表現が、小さなフラUID検出においてどのように向上するか？
• RQ5 モデルは、再トレーニングなしで、Spectralis、Cirrus、Topcon などの異なる OCT スキャナーベンダー間で一般化可能か？

主な発見

• SwinVFTR は Spectralis データセットで平均 Dice スコア 0.72 を達成し、比較対象のすべてのモデルを上回った。
• Cirrus データセットでは、SwinVFTR は平均 Dice スコア 0.59 を達成し、ResUNet-3D と比較して PED 分離で 10 倍の改善を示した。
• Topcon データセットでは、SwinVFTR は平均 Dice スコア 0.68 を達成し、ResUNet-3D と比較して PED 分離で 1.2 倍の改善を示した。
• すべての 3 データセットで最高の平均交差率（mIOU）および構造的類似度指数（SSIM）を達成し、優れた境界局在化と構造的忠実度を示した。
• アブレーションスタディの結果、ボリューム注意（VA）およびマルチリセプティブフィールド（MRF）ブロックの両方が不可欠であることが確認され、両方のコンポONENTを備えた完全なモデルが、いずれかを欠いたバリアントを上回った。
• 背景クラスの有無にかかわらず高い性能を維持しており、クラス不均衡や低誤検出率に対しても頑健であることが示された。