[논문 리뷰] Ensemble Transfer Learning of Elastography and B-mode Breast Ultrasound Images

Sampa Misra, Seungwan Jeon외 6명|arXiv (Cornell University)|2021. 02. 17.

AI in cancer detection참고 문헌 33인용 수 4

한 줄 요약

이 연구는 B-mode 초음파 및 변형율 엘라스토그라피 초음파 영상의 특징을 결합한 앙상블 전이학습 모델을 제안하여 양성 및 악성 유방 종양을 분류한다. 85명의 환자로부터 확보한 261쌍의 B-US 및 SE-US 영상을 기반으로 모델은 88.89%의 민감도와 91.10%의 특이도를 기록하여 수동 진단을 능가하며 조기이고 신뢰할 수 있는 유방암 조기 검출을 가능하게 한다.

ABSTRACT

Computer-aided detection (CAD) of benign and malignant breast lesions becomes increasingly essential in breast ultrasound (US) imaging. The CAD systems rely on imaging features identified by the medical experts for their performance, whereas deep learning (DL) methods automatically extract features from the data. The challenge of the DL is the insufficiency of breast US images available to train the DL models. Here, we present an ensemble transfer learning model to classify benign and malignant breast tumors using B-mode breast US (B-US) and strain elastography breast US (SE-US) images. This model combines semantic features from AlexNet & ResNet models to classify benign from malignant tumors. We use both B-US and SE-US images to train the model and classify the tumors. We retrospectively gathered 85 patients' data, with 42 benign and 43 malignant cases confirmed with the biopsy. Each patient had multiple B-US and their corresponding SE-US images, and the total dataset contained 261 B-US images and 261 SE-US images. Experimental results show that our ensemble model achieves a sensitivity of 88.89% and specificity of 91.10%. These diagnostic performances of the proposed method are equivalent to or better than manual identification. Thus, our proposed ensemble learning method would facilitate detecting early breast cancer, reliably improving patient care.

연구 동기 및 목표

• 딥 러닝 모델을 훈련하기 위한 정규화된 유방 초음파 영상의 가용성 부족 문제를 해결하기 위해.
• 다중 모odal 초음파 영상 기반으로 양성 및 악성 유방 종양을 분류하는 진단 정확도를 향상시키기 위해.
• 사전 훈련된 CNN(예: AlexNet 및 ResNet)의 의미적 특징을 융합하는 전이학습 프레임워크를 개발하기 위해.
• 쌍방향 B-mode 및 엘라스토그라피 US 영상의 회귀적 데이터셋에서 앙상블 모델의 성능을 평가하기 위해.

제안 방법

• 모델는 B-mode 및 변형율 엘라스토그라피 초음파 영상에 대해 훈련된 사전 훈련된 AlexNet 및 ResNet 아키텍처를 사용한 전이학습을 구현한다.
• 두 네트워크의 최종 완전히 연결된 층에서 추출한 의미적 특징을 결합하여 통합된 특징 표현을 형성한다.
• 앙상블 학습 전략을 통해 두 네트워크의 특징 임베딩을 융합하여 일반화 능력과 분류의 강건성을 향상시킨다.
• 융합된 특징은 이진 교차 엔트로피 손실 함수를 사용하여 양성 및 악성 종양을 구분하는 분류기로 입력된다.
• 이 방법은 85명의 생검 확인 환자로부터 확보한 261장의 B-US 및 261장의 SE-US 영상으로 구성된 회귀적 데이터셋에서 훈련 및 검증된다.
• 데이터 증강 및 전이학습 기법을 적용하여 데이터 부족 문제를 완화하고 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 B-mode 및 엘라스토그라피 US 영상 기반으로 앙상블 전이학습 모델이 종양 진단의 분류 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 다수의 CNN(AlexNet 및 ResNet)의 특징을 융합하는 것은 단일 모델 기반 접근법에 비해 진단 정확도를 어떻게 향상시키는가?
• RQ3 B-mode 및 엘라스토그라피 영상 모odal의 융합은 유방 병변 분류의 민감도 및 특이도 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 수동 방사선의학적 해석과 비교해 유사하거나 그 이상의 성능을 달성하는가?

주요 결과

• 앙상블 모델은 악성 유방 종양을 탐지하는 데 88.89%의 민감도를 기록하였다.
• 모델은 양성 병변을 정확히 식별하는 데 91.10%의 특이도를 보였다.
• 제안된 방법의 진단 성능는 방사선의학자가 수행한 수동 진단과 동일하거나 뛰어났다.
• B-mode 및 엘라스토그라피 영상의 융합은 단독으로 어느 하나의 모달리티를 사용하는 것보다 분류 정확도를 크게 향상시켰다.
• 사전 훈련된 AlexNet 및 ResNet 모델을 사용한 전이학습은 유방 초음파 영상에서의 데이터 부족 문제를 효과적으로 완화시켰다.
• 앙상블 접근법은 단일 모델 기반 베이스라인보다 우수한 성능을 보였으며, 다양한 딥 러닝 아키텍처에서의 특징 융합의 이점이 확인되었다.