[論文レビュー] SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging

Meng Lou, Hanning Ying+4 more|arXiv (Cornell University)|Feb 27, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、CTおよびMR画像における3次元マルチフェーズ肝腫瘍分類のためのシアンプル・デュアルリゾリューショントランスフォーマー（SDR-Former）を提案する。重み共有のシアンプルネットワークを用い、ハイブリッド3次元CNN-トランスフォーマーベースと、特徴表現とフェーズ固有の特徴統合を強化するためのアダプティブフェーズ選択モジュールを組み合わせ、3フェーズCTおよび8フェーズMRデータセットの両方で最先端の性能を達成するとともに、肝腫瘍分類のための最初の公開可能なマルチフェーズMRデータセットを提供した。

ABSTRACT

Automated classification of liver lesions in multi-phase CT and MR scans is of clinical significance but challenging. This study proposes a novel Siamese Dual-Resolution Transformer (SDR-Former) framework, specifically designed for liver lesion classification in 3D multi-phase CT and MR imaging with varying phase counts. The proposed SDR-Former utilizes a streamlined Siamese Neural Network (SNN) to process multi-phase imaging inputs, possessing robust feature representations while maintaining computational efficiency. The weight-sharing feature of the SNN is further enriched by a hybrid Dual-Resolution Transformer (DR-Former), comprising a 3D Convolutional Neural Network (CNN) and a tailored 3D Transformer for processing high- and low-resolution images, respectively. This hybrid sub-architecture excels in capturing detailed local features and understanding global contextual information, thereby, boosting the SNN's feature extraction capabilities. Additionally, a novel Adaptive Phase Selection Module (APSM) is introduced, promoting phase-specific intercommunication and dynamically adjusting each phase's influence on the diagnostic outcome. The proposed SDR-Former framework has been validated through comprehensive experiments on two clinical datasets: a three-phase CT dataset and an eight-phase MR dataset. The experimental results affirm the efficacy of the proposed framework. To support the scientific community, we are releasing our extensive multi-phase MR dataset for liver lesion analysis to the public. This pioneering dataset, being the first publicly available multi-phase MR dataset in this field, also underpins the MICCAI LLD-MMRI Challenge. The dataset is accessible at:https://bit.ly/3IyYlgN.

研究の動機と目的

• 3次元マルチフェーズCTおよびMR画像における正確で効率的な肝腫瘍分類の課題に取り組むこと。手作業による解析は時間のかかる上に誤差を生じやすい。
• 従来の画像レベルおよび特徴レベルの統合手法に起因する制限を克服すること。これらは、フェーズ固有の特徴を希釈するか、高い計算コストを伴う。
• 可スケーリング性、計算効率性、およびロバスト性に優れたディーブラーニングフレームワークを構築すること。これは、変動する画像フェーズ数を扱えるようにする。
• 診断的関連性に基づいてフェーズ寄与度を動的に重みづける、新規のアダプティブフェーズ選択モジュール（APSM）を導入すること。
• オープンサイエンスを支援するために、肝腫瘍分類のための最初の公開可能なマルチフェーズMRデータセットを提供すること。これにより、研究の促進とベンチマークの標準化が可能になる。

提案手法

• SDR-Formerは、重み共有のシアンプルニューラルネットワーク（SNN）を採用し、各画像フェーズを独立して処理することで、フェーズ固有の表現を保持するとともに、計算効率を確保する。
• ハイブリッド・デュアルリゾリューショントランスフォーマー（DR-Former）を導入。3次元CNNを用いて高分解能の局所的特徴を抽出し、3次元トランスフォーマーで低分解能のグローバルな文脈をモデル化する。
• DR-Formerは、要素ごとの連結とグローバル平均プーリング層を介して高分解能および低分解能の特徴を統合し、局所的詳細と長距離依存性の両方の理解を強化する。
• アダプティブフェーズ選択モジュール（APSM）を設計し、診断的関連性に基づいて各フェーズの寄与度を動的に調整することで、最終分類への寄与を最適化する。
• CNNとトランスフォーマーブランチ間の特徴相互作用を促進するため、クロスモーダル相互作用モジュール（BCIM）を統合し、特徴表現を向上させる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、2つの臨床的データセット（3フェーズCTデータセットおよび8フェーズMRデータセット）で評価された。

Figure 1: This diagram illustrates the SDR-Former framework, which utilizes a Siamese Neural Network (SNN) for processing each phase in the multi-phase imaging series independently yet simultaneously. Central to this framework is the hybrid Dual-Resolution Transformer (DR-Former), a fusion network t

実験結果

リサーチクエスチョン

• RQ1 シアンプル・デュアルリゾリューショントランスフォーマーのアーキテクチャは、3次元マルチフェーズ肝画像における複数フェーズ間の補完的特徴を効果的に捉えることができるか？
• RQ2 ハイブリッド3次元CNN-トランスフォーマーベースの統合は、単独のCNNやトランスフォーマーと比較して、特徴表現をどのように向上させるか？
• RQ3 アダプティブフェーズ選択モジュール（APSM）は、フェーズ固有の特徴に動的重みを付与することで、分類性能をどの程度向上させるか？
• RQ4 本フレームワークは、3フェーズCTおよび8フェーズMRのような、フェーズ数が異なるデータセットにどのように一般化するか？
• RQ5 DR-Formerベースは、マルチフェーズ肝腫瘍分類を超えて、3次元医療画像分類の他のタスクへも効果的に転移可能か？

主な発見

• 3フェーズCTデータセットでは、SDR-Formerは正解率0.8915、AUC 0.7830、F1スコア0.8915、カッパ係数0.7830を達成し、優れた性能を示した。
• 8フェーズMRデータセットでは、CTデータで事前学習した場合、正解率0.9536、AUC 0.7910、F1スコア0.7467、カッパ係数0.7467を達成した。
• DR-Formerベースは、MedMNIST v2で最先端のモデルを上回り、OrganMNIST3Dでは96.23%の正解率、NoduleMNIST3Dでは90.32%の正解率を達成した。
• 異なるフェーズ数のデータセット間で、アーキテクチャの再設計なしに高い性能を維持し、優れた一般化性能を示した。
• アブレーションスタディにより、APSMおよびBCIMの各コンponentが性能向上に顕著に寄与することが確認され、フェーズ固有の特徴重み付けおよびブランチ間特徴相互作用の重要性が裏付けられた。
• 肝腫瘍分類のための最初の公開可能なマルチフェーズMRデータセットの提供により、分野における研究の加速とベンチマークの標準化が期待される。

Figure 2: A diagrammatic depiction outlining the structure of the Hybrid Dual-Resolution Transformer (DR-Former).