[논문 리뷰] Multi-View Hypercomplex Learning for Breast Cancer Screening

Eleonora Lopez, Eleonora Grassucci외 1명|arXiv (Cornell University)|2022. 04. 12.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 다중 유방 mammogram 영상 간 상관관계를 모델링하기 위해 매개변수화된 허수수 대수를 사용하는 초복소 신경망(PHResNets, PHYSEnet, PHYBOnet)을 제안한다. 이는 방사선의사가 다중 영상 읽기를 하는 방식을 모방하며, 병변 진단 정확도와 AUC를 향상시키고 환자 수준 및 유방 수준의 분석을 가능하게 하며, 강인하고 해석 가능한 특징 학습을 제공한다.

ABSTRACT

Radiologists interpret mammography exams by jointly analyzing all four views, as correlations among them are crucial for accurate diagnosis. Recent methods employ dedicated fusion blocks to capture such dependencies, but these are often hindered by view dominance, training instability, and computational overhead. To address these challenges, we introduce multi-view hypercomplex learning, a novel learning paradigm for multi-view breast cancer classification based on parameterized hypercomplex neural networks (PHNNs). Thanks to hypercomplex algebra, our models intrinsically capture both intra- and inter-view relations. We propose PHResNets for two-view exams and two complementary four-view architectures: PHYBOnet, optimized for efficiency, and PHYSEnet, optimized for accuracy. Extensive experiments demonstrate that our approach consistently outperforms state-of-the-art multi-view models, while also generalizing across radiographic modalities and tasks such as disease classification from chest X-rays and multimodal brain tumor segmentation. Full code and pretrained models are available at https://github.com/ispamm/PHBreast.

연구 동기 및 목표

• 기존의 다중 영상 딥러닝 모델이 영상 간 상관관계를 활용하지 못하고 각각 독립적으로 처리하는 한계를 해결하기 위해.
• 일부 모델이 한 영상에 치우치거나 단일 영상 기반 모델에 비해 성능이 열 劣하는 문제를 해결하기 위해.
• 여러 유방 mammogram 영상들을 통합된 상관관계 있는 입력으로 처리하는 새로운 프레임워크를 개발하여 유방촬영 검사의 임상적 다중 영상 특성을 유지하기 위해.
• 다양한 데이터셋, 과제(예: 세분화 포함) 및 의료 영상 적용 분야에서 제안된 방법의 일반화 및 강인성을 입증하기 위해.
• 기존 딥러닝 모델과 호환되며 임상 및 연구 환경에서의 구현에 적합한 유연하고 확장 가능한 아키텍처를 제공하기 위해.

제안 방법

• 다중 유방 mammogram 영상 간 상관관계를 모델링하기 위해 매개변수화된 초복소 곱셈(PHM) 및 초복소 컨볼루션(PHC) 레이어를 사용하는 매개변수화된 초복소 신경망(PHNNs)을 적용한다.
• 이측 영상(ipsilateral)용 두 영상 모델인 PHResNets와, 양측 및 이측 영상(4개)을 처리하는 양측 및 이측 영상용 모델인 PHYSEnet 및 PHYBOnet을 설계하여 환자 수준 또는 유방 수준의 공동 분석을 가능하게 한다.
• 공유 인코더 및 블로킹 모듈을 PHC 레이어와 통합하여 양측 영상 간 공유 표현을 학습하고 초복소 상호작용을 통해 특징 학습을 향상시킨다.
• 활성화 맵과 사전 지도를 활용해 모델 주의를 시각화하고 해석하며, 초복소 모델이 양측 영상 모두에 주의를 기울이는 반면 실수값 모델은 그렇지 않음을 입증한다.
• 특히 ROI(annotation)가 제한된 소규모 데이터셋에 유용한 전이 학습을 위해 사전 학습된 가중치를 사용하여 모델을 훈련시킨다.
• 모델 재현 가능성을 확보하기 위해 GitHub를 통해 전체 코드와 사전 학습된 모델을 공개하여 다양한 의료 영상 파이프라인에의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 초복소 신경망이 다중 유방 mammogram 영상 간 상관관계를 효과적으로 모델링하여 실수값 다중 영상 네트워크보다 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법이 공개된 데이터셋에서 최신 실수값 및 다중 경로 아키텍처보다 유방암 분류 성능에서 뛰어나게 성능을 냈는가?
• RQ3 초복소 모델이 단일 우세한 영상에 의존하기보다가 모든 영상에서 정보를 얼마나 효과적으로 활용하는가?
• RQ4 세분화와 같은 다양한 영상 모odalities 및 과제에 적용했을 때 제안된 방법의 강인성은 어느 정도인가?
• RQ5 다양한 데이터 가용성과 1, 2, 또는 4개의 영상이 포함된 데이터셋에 적합한 특정 데이터 시나리오에 가장 적합한 모델 아키텍처(PHResNet, PHYSEnet, PHYBOnet)는 무엇인가?

주요 결과

• 제안된 초복소 모델은 공개된 유방암 분류 벤치마크에서 실수값 모델 및 최신 기술보다 유의미하게 높은 AUC와 정확도를 달성한다.
• PHYSEnet 및 PHYBOnet는 활성화 맵에서 CC 및 MLO 영상 양쪽 모두에 명확히 주의를 기울이는 반면, 실수값 기반 기준 모델인 SEnet은 CC 영상에만 집중한다.
• 사전 지도 분석 결과, 초복소 모델은 양측 유방의 정보를 모두 활용하며 종양이 있는 영역에 주의를 집중하는 반면, 실수값 모델은 종양이 MLO 영상에만 있는 경우 MLO 영상을 무시한다.
• 모델은 다양한 데이터셋과 과제(세분화 포함)에 대해 강인성을 보이며, 이는 이진 분류를 넘어서 일반화 능력을 입증한다.
• 사전 학습된 모델과 코드의 공개로, 특히 ROI annotation이 제한된 데이터셋에서 효과적인 전이 학습이 가능하다.
• 모든 네 개의 영상을 함께 처리함으로써 환자 수준의 분석이 가능해졌으며, 임상 실무에서 중요한 바이오마커인 영상 간 상관관계를 포착하였다.