[論文レビュー] Swin-Tempo: Temporal-Aware Lung Nodule Detection in CT Scans as Video Sequences Using Swin Transformer-Enhanced UNet

Hossein Jafari, Karim Faez+1 more|arXiv (Cornell University)|Oct 5, 2023

Lung Cancer Diagnosis and TreatmentMedicine被引用数 3

ひとこと要約

Swin-Tempo は、3次元ボリュームを動画シーケンスとして扱うことで、Swin Transformer と RNN を統合した 2D UNet ベースのモデルを提案し、CT スキャンにおける肺結節を検出する。97.84% の感度と 96.0% のコンペティションパフォーマンスメトリック（CPM）を達成し、パラメータ数が少ないにもかかわらず、最新の手法を上回る精度と効率性を実現した。

ABSTRACT

Lung cancer is highly lethal, emphasizing the critical need for early detection. However, identifying lung nodules poses significant challenges for radiologists, who rely heavily on their expertise for accurate diagnosis. To address this issue, computer-aided diagnosis (CAD) systems based on machine learning techniques have emerged to assist doctors in identifying lung nodules from computed tomography (CT) scans. Unfortunately, existing networks in this domain often suffer from computational complexity, leading to high rates of false negatives and false positives, limiting their effectiveness. To address these challenges, we present an innovative model that harnesses the strengths of both convolutional neural networks and vision transformers. Inspired by object detection in videos, we treat each 3D CT image as a video, individual slices as frames, and lung nodules as objects, enabling a time-series application. The primary objective of our work is to overcome hardware limitations during model training, allowing for efficient processing of 2D data while utilizing inter-slice information for accurate identification based on 3D image context. We validated the proposed network by applying a 10-fold cross-validation technique to the publicly available Lung Nodule Analysis 2016 dataset. Our proposed architecture achieves an average sensitivity criterion of 97.84% and a competition performance metrics (CPM) of 96.0% with few parameters. Comparative analysis with state-of-the-art advancements in lung nodule identification demonstrates the significant accuracy achieved by our proposed model.

研究の動機と目的

• 計算コストの高さと 3D モデルにおける局所的文脈認識の限界により、既存の肺結節検出モデルでは誤検出率・見逃し率が高い問題に対処する。
• 3D モデルのトレーニングにおける GPU メモリ制限を克服するため、スライス同士の空間的文脈を保持しながら、2D CT スライスを動画シーケンスとして処理する。
• 複数のネットワーク深さで CNN とトランスフォーマー特徴を統合することで、特に小さな結節の検出精度を向上させる。
• パラメータ数が少なく、性能を損なわずにリソース制限のあるデバイスへのデプロイが可能な軽量で効率的なモデルを開発する。
• RNN を活用してスライス間の順序情報を統合することで、2D フレームワーク内で 3D 的な文脈を模倣した時間的モデリングを強化する。

提案手法

• 各 3次元 CT スキャンを動画シーケンスとして扱い、個々の 2次元スライスをフレームとして扱い、スライス間での結節の出現様式を時間的モデリングする。
• スライス間の空間的特徴を保持し、計算負荷を低減するためにスキップ接続を備えた 2D UNet エンコーダ・デコーダアーキテクチャを採用する。
• スライス間の長距離依存関係とグローバルな文脈を捉えるために、シフトされたウィンドウ自己注意機構を用いた Swin Transformer を複数のエンコーダーステージに統合する。
• スライスの順序を処理し、隣接スライス間の特徴表現を強化するために RNN（LSTM）を用いる。
• 2段階の特徴統合を実施：浅い層で CNN とトランスフォーマー特徴を早期統合し、深い層で後期統合によりセグメンテーションを精緻化する。
• LIDC-IDRI（Lung Nodule Analysis 2016）データセットを用い、10分割交差検証でトレーニングを行い、感度やコンペティションパフォーマンスメトリック（CPM）などの標準指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 3次元 CT スキャンを動画シーケンスとしてモデル化することで、3D CNN や標準的な 2D モデルと比較して、計算負荷を低減しつつ肺結節検出の精度を向上させられるか？
• RQ2 Swin Transformer を強化した特徴は、2D スライスベースのセグメンテーションにおいて、検出感度を向上させるとともに誤検出を低減できるか？
• RQ3 RNN を用いた時間的モデリングは、複数スライスにまたがる結節を同定するためのスライス間文脈をどの程度効果的に捉えられるか？
• RQ4 多段階の特徴統合を施したハイブリッド CNN-Transformer アーキテクチャは、LIDC-IDRI ベンチマークにおいて、既存の最先端手法を上回る感度と F1 スコアを達成できるか？
• RQ5 パッチベースやクロップされた入力戦略とは対照的に、完全な 2D スライスを処理することで、より多くの構造的情報を保持し、検出性能が向上するか？

主な発見

• 提案された Swin-Tempo モデルは、LIDC-IDRI データセットで 97.84% の感度を達成し、3D Swin Transformer を用いた手法を含む先行研究を大きく上回った。
• モデルは 96.0% のコンペティションパフォーマンスメトリック（CPM）を達成し、最先端のモデルと比較して優れた総合的診断精度を示した。
• クロップなしの完全な 2D スライスを用いることで、より包括的な解剖的文脈を捉えることができ、特に小さな結節や微細な結節の検出が向上した。
• RNN の統合により、スライス間の時間的依存関係が効果的にモデリングされ、1枚のスライスに完全に現れない結節の検出が向上した。
• モデルはパラメータ数が少なく、計算負荷も低いため、3D トランスフォーマーと比較して GPU メモリ制限の厳しいデバイスへのデプロイが可能である。
• 2段階の特徴統合戦略（浅い層と深い層で CNN と Swin Transformer 特徴を統合）により、特徴表現とセグメンテーション精度が顕著に向上した。