[논문 리뷰] Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging Computer-aided Diagnosis

Yin Dai, Yifan Gao외 2명|arXiv (Cornell University)|2022. 01. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 논문은 2D 및 3D 컨볼루션 모듈을 조합하여 다중모态 3D 의료 영상 분류를 향상시키기 위한 상호 주의 기반 하이브리드 차원 네트워크인 MMNet을 제안한다. 사전 훈련된 ImageNet 모델을 활용하고, 깊이 방향의 문맥 모델링을 위한 입체주의 주의, 그리고 다중 모odal 간 일관성을 향상시키기 위한 상호 주의 메커니즘을 도입함으로써, MMNet은 세 가지 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, PROSTATEx 데이터셋에서 90.0%의 정확도를 기록하였다.

ABSTRACT

Recent works on Multimodal 3D Computer-aided diagnosis have demonstrated that obtaining a competitive automatic diagnosis model when a 3D convolution neural network (CNN) brings more parameters and medical images are scarce remains nontrivial and challenging. Considering both consistencies of regions of interest in multimodal images and diagnostic accuracy, we propose a novel mutual attention-based hybrid dimensional network for MultiModal 3D medical image classification (MMNet). The hybrid dimensional network integrates 2D CNN with 3D convolution modules to generate deeper and more informative feature maps, and reduce the training complexity of 3D fusion. Besides, the pre-trained model of ImageNet can be used in 2D CNN, which improves the performance of the model. The stereoscopic attention is focused on building rich contextual interdependencies of the region in 3D medical images. To improve the regional correlation of pathological tissues in multimodal medical images, we further design a mutual attention framework in the network to build the region-wise consistency in similar stereoscopic regions of different image modalities, providing an implicit manner to instruct the network to focus on pathological tissues. MMNet outperforms many previous solutions and achieves results competitive to the state-of-the-art on three multimodal imaging datasets, i.e., Parotid Gland Tumor (PGT) dataset, the MRNet dataset, and the PROSTATEx dataset, and its advantages are validated by extensive experiments.

연구 동기 및 목표

• 제한된 레이블 데이터와 높은 파라미터 수로 인해 의료 영상에서 깊은 3D CNN을 훈련시키는 데 도전하는 문제를 해결하기 위해.
• 2D 및 3D 컨볼루션의 조합을 통해 다중모달 3D 의료 영상 분류에서 특징 추출과 진단 정확도를 향상시키기 위해.
• 다중 모달 간 일관성을 향상시키기 위해 상호 주의 메커니즘을 사용하여 병적 영역 탐지의 정확도를 높이기 위해.
• 하이브리드 차원 설계와 사전 훈련된 특징 전이를 통해 훈련 복잡도와 모델 파라미터를 감소시키면서도 성능을 유지하거나 향상시키기 위해.

제안 방법

• 모델은 2D 및 3D 컨볼루션 레이어를 통합하여 파라미터를 감소시키고, ImageNet 사전 훈련 모델에서의 전이 학습을 가능하게 하는 하이브리드 차원 블록(HDB)을 사용한다.
• 입체주의 주의 모듈(SAM)은 동일한 해부학적 영역 내의 다양한 깊이 슬라이스 간의 문맥적 종속성을 캡처하여 병적 변화의 국소화를 향상시킨다.
• 상호 주의 프레임워크(MAF)는 서로 다른 영상 모odal을 처리하는 이중 스트림 네트워크 간의 특징 재보정을 가능하게 하여 병적 영역 표현의 일관성을 증진시킨다.
• MAF는 학습 가능한 파라미터 α를 통해 주의 가중치를 동적으로 균형 조절하여 다중 모달 특징 교환을 최적화하고 보완 정보 활용을 향상시킨다.
• 네트워크는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, ROC-AUC, 정확도, 민감도, 특이도와 같은 표준 지표를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 2D 및 3D 컨볼루션을 조합한 하이브리드 차원 아키텍처가 3D 의료 영상 분류에서 모델 복잡도를 감소시키면서도 높은 성능을 유지할 수 있는가?
• RQ2 입체주의 주의 모듈이 3D 의료 영상에서 깊이 방향의 문맥적 종속성을 얼마나 효과적으로 캡처하여 병변 국소화를 향상시킬 수 있는가?
• RQ3 상호 주의 메커니즘이 다중모달 3D 의료 영상 분석에서 다중 모달 간 일관성과 진단 정확도를 얼마나 향상시키는가?
• RQ4 다중 모달 주의 가중치(α)의 최적 균형은 다중 모달 진단에서 성능을 최대화하기 위해 무엇인가?

주요 결과

• MMNet은 PROSTATEx 데이터셋에서 평균 정확도 90.0% ± 3.2%를 달성하여, MISN 및 P3D와 같은 최신 기술 수준의 방법들을 능가하였다.
• 제거 분석 결과, 입체주의 주의 모듈(SAM)을 추가함으로써 정확도가 83.6%에서 86.4%로 상승하였고, 상호 주의 프레임워크(MAF)를 추가함으로써 다시 90.0%로 상승하였다.
• 최적의 자기 주의 가중치 α = 0.6은 90.02%의 최고 정확도를 기록하여, 중간 수준의 다중 모달 특징 교환을 통해 성능을 최대화함을 시사하였다.
• 클래스 활성화 맵 시각화 결과, MMNet은 3D-ResNet, R2D 및 P3D와 비교해 병적 영역을 더 잘 강조함을 확인하였다. 이는 3D 정보 손실 문제로 인해 후자들이 약한 성능을 보였기 때문이다.
• 2D 브랜치에 사전 훈련된 ImageNet 가중치를 적용한 모델은 성능 향상이著명하여, 저자료 환경에서 전이 학습의 유용성을 입증하였다.
• MRNet 및 PGT 데이터셋에서도 MMNet은 경쟁력 있는 성능을 기록하였으며, 더 큰 PROSTATEx 모델에서 ROC-AUC는 0.94, 정확도는 0.81을 기록하여 기존의 3D-CNN 및 사전 훈련된 기준 모델을 초월하였다.