[논문 리뷰] SDR-Former: A Siamese Dual-Resolution Transformer for Liver Lesion Classification Using 3D Multi-Phase Imaging

Meng Lou, Hanning Ying외 4명|arXiv (Cornell University)|2024. 02. 27.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 CT 및 MRI 영상에서 3D 다단계 간병성 병변 분류를 위한 시아모이스 이중해상도 트랜스포머인 SDR-Former을 제안한다. 가중치 공유 시아모이스 네트워크와 하이브리드 3D CNN-트랜스포머 기반 구조, 그리고 적응형 단계 선택 모듈을 사용하여 특징 표현과 단계별 융합을 향상시키며, 3단계 CT 및 8단계 MR 데이터셋에서 최신 기술 수준의 성능을 달성한다. 또한 간 병변 분석을 위한 첫 공개 가능한 다단계 MRI 데이터셋을 제공한다.

ABSTRACT

Automated classification of liver lesions in multi-phase CT and MR scans is of clinical significance but challenging. This study proposes a novel Siamese Dual-Resolution Transformer (SDR-Former) framework, specifically designed for liver lesion classification in 3D multi-phase CT and MR imaging with varying phase counts. The proposed SDR-Former utilizes a streamlined Siamese Neural Network (SNN) to process multi-phase imaging inputs, possessing robust feature representations while maintaining computational efficiency. The weight-sharing feature of the SNN is further enriched by a hybrid Dual-Resolution Transformer (DR-Former), comprising a 3D Convolutional Neural Network (CNN) and a tailored 3D Transformer for processing high- and low-resolution images, respectively. This hybrid sub-architecture excels in capturing detailed local features and understanding global contextual information, thereby, boosting the SNN's feature extraction capabilities. Additionally, a novel Adaptive Phase Selection Module (APSM) is introduced, promoting phase-specific intercommunication and dynamically adjusting each phase's influence on the diagnostic outcome. The proposed SDR-Former framework has been validated through comprehensive experiments on two clinical datasets: a three-phase CT dataset and an eight-phase MR dataset. The experimental results affirm the efficacy of the proposed framework. To support the scientific community, we are releasing our extensive multi-phase MR dataset for liver lesion analysis to the public. This pioneering dataset, being the first publicly available multi-phase MR dataset in this field, also underpins the MICCAI LLD-MMRI Challenge. The dataset is accessible at:https://bit.ly/3IyYlgN.

연구 동기 및 목표

• 수동 분석이 시간이 오래 걸리고 오류가 발생하기 쉬운 3D 다단계 CT 및 MRI 영상에서 정확하고 효율적인 간 병변 분류 문제를 해결하기 위해.
• 기존의 영상 수준 및 특징 수준 융합 방법의 한계를 극복하기 위해, 이는 단계별 특징을 흐리게 하거나 높은 계산 비용을 유발하기 때문이다.
• 변동하는 영상 단계 수를 처리할 수 있는 확장성 있고 계산적으로 효율적이며 강력한 딥 러닝 프레임워크를 개발하기 위해.
• 진단적 관련성에 기반해 각 단계의 기여도를 동적으로 가중하는 새로운 적응형 단계 선택 모듈(APSM)을 도입하기 위해.
• 오픈 과학을 지원하기 위해 간 병변 분석을 위한 첫 공개 가능한 다단계 MRI 데이터셋을 제공하기 위해.

제안 방법

• SDR-Former는 각 영상 단계를 독립적으로 처리하면서도 계산 효율성을 확보하기 위해 가중치 공유 시아모이스 신경망(SNN)을 사용한다. 이는 단계별 특징 표현을 유지하면서도 효율적인 처리를 가능하게 한다.
• 하이브리드 이중해상도 트랜스포머(DR-Former)를 도입하여 3D CNN을 통해 고해상도 국소 특징을 추출하고, 3D 트랜스포머를 통해 저해상도 전역적 맥락을 모델링한다.
• DR-Former는 요소별 연결과 전역 평균 풀링 레이어를 통해 고해상도 및 저해상도 특징을 융합하여 국소 세부 정보와 장거리 의존성 이해를 향상시킨다.
• 적응형 단계 선택 모듈(APSM)은 각 단계의 기여도를 진단적 관련성에 따라 동적으로 조정함으로써 최종 분류에 기여하도록 설계되었다.
• 모델은 CNN 및 트랜스포머 브랜치 간의 특징 상호작용을 촉진하기 위해 교차모달 상호작용 모듈(BCIM)을 통합하여 특징 표현을 향상시켰다.
• 모델는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되었으며, 두 가지 임상 데이터셋(3단계 CT 데이터셋 및 8단계 MR 데이터셋)에서 평가되었다.

Figure 1: This diagram illustrates the SDR-Former framework, which utilizes a Siamese Neural Network (SNN) for processing each phase in the multi-phase imaging series independently yet simultaneously. Central to this framework is the hybrid Dual-Resolution Transformer (DR-Former), a fusion network t

실험 결과

연구 질문

• RQ1 시아모이스 이중해상도 트랜스포머 아키텍처는 3D 다단계 간 영상에서 상호보완적인 특징을 효과적으로 포착할 수 있는가?
• RQ2 하이브리드 3D CNN-트랜스포머 기반 구조의 통합은 단독 CNN 또는 트랜스포머보다 특징 표현을 어떻게 향상시키는가?
• RQ3 적응형 단계 선택 모듈(APSM)이 단계별 특징을 동적으로 가중화함으로써 분류 성능을 얼마나 향상시키는가?
• RQ4 3단계 CT 및 8단계 MR와 같이 단계 수가 다른 데이터셋에 대해 제안된 프레임워크는 얼마나 일반화되는가?
• RQ5 DR-Former 기반 구조는 다단계 간 병변 분석을 초과하는 다른 3D 의료 영상 분류 과제로 효과적으로 전이 가능한가?

주요 결과

• 3단계 CT 데이터셋에서 SDR-Former는 정확도 0.8915, AUC 0.7830, F1 점수 0.8915, 카파 계수 0.7830을 달성하여 뛰어난 성능을 보였다.
• 8단계 MR 데이터셋에서 사전 훈련된 CT 데이터를 기반으로 한 모델은 정확도 0.9536, AUC 0.7910, F1 점수 0.7467, 카파 계수 0.7467을 기록하였다.
• DR-Former 기반 구조는 MedMNIST v2에서 최신 기술 수준의 모델을 초월하여 OrganMNIST3D에서 96.23% 정확도, NoduleMNIST3D에서 90.32% 정확도를 달성했다.
• 다양한 단계 수를 가진 데이터셋 간에 강력한 일반화 성능을 보였으며, 아키텍처 재설계 없이도 높은 성능를 유지했다.
• 제거 실험을 통해 APSM 및 BCIM 구성 요소가 성능 향상에 크게 기여했음을 확인하였으며, 이는 단계별 특징 가중치 조정 및 브랜치 간 특징 상호작용의 중요성을 입증했다.
• 간 병변 분석을 위한 첫 공개 가능한 다단계 MRI 데이터셋의 배포는 분야 내 연구를 가속화하고 기준 평가를 표준화하는 데 기여할 것으로 기대된다.

Figure 2: A diagrammatic depiction outlining the structure of the Hybrid Dual-Resolution Transformer (DR-Former).