[논문 리뷰] SHISRCNet: Super-resolution And Classification Network For Low-resolution Breast Cancer Histopathology Image

Luyuan Xie, Cong Li외 5명|arXiv (Cornell University)|2023. 06. 25.

AI in cancer detection인용 수 5

한 줄 요약

SHISRCNet은 저해상도 유방암 조직병리 영상에서 초해상도 복원과 분류를 동시에 수행하는 통합 딥러닝 프레임워크이다. 초해상도 모듈에서는 다중 척도 선택적 융합을 갖춘 다중 특징 추출 블록을 사용하고, 분류 모듈에서는 SKNet과 FPN, 그리고 교차 척도 선택적 융합 블록을 결합하여, 입력이 저해상도일지라도 고해상도 이미지로 훈련된 최신 기술 수준의 성능에 근접한 성능을 달성한다.

ABSTRACT

The rapid identification and accurate diagnosis of breast cancer, known as the killer of women, have become greatly significant for those patients. Numerous breast cancer histopathological image classification methods have been proposed. But they still suffer from two problems. (1) These methods can only hand high-resolution (HR) images. However, the low-resolution (LR) images are often collected by the digital slide scanner with limited hardware conditions. Compared with HR images, LR images often lose some key features like texture, which deeply affects the accuracy of diagnosis. (2) The existing methods have fixed receptive fields, so they can not extract and fuse multi-scale features well for images with different magnification factors. To fill these gaps, we present a extbf{S}ingle extbf{H}istopathological extbf{I}mage extbf{S}uper- extbf{R}esolution extbf{C}lassification network (SHISRCNet), which consists of two modules: Super-Resolution (SR) and Classification (CF) modules. SR module reconstructs LR images into SR ones. CF module extracts and fuses the multi-scale features of SR images for classification. In the training stage, we introduce HR images into the CF module to enhance SHISRCNet's performance. Finally, through the joint training of these two modules, super-resolution and classified of LR images are integrated into our model. The experimental results demonstrate that the effects of our method are close to the SOTA methods with taking HR images as inputs.

연구 동기 및 목표

• 저해상도 조직병리 영상에서 유방암을 진단하는 데 어려움을 해결하기 위해, 특히 중요한 질감 정보가 부족한 경우를 대비한다.
• 기존 초해상도 모델에서 고정된 수신 영역의 한계를 극복하여 다양한 배율 요소에서 효과적인 다중 척도 특징 추출을 가능하게 한다.
• 단일의 연합 훈련된 모델에서 초해상도 복원과 분류를 통합함으로써 저해상도 영상에서의 분류 정확도를 향상시킨다.
• 입력이 저해상도일지라도 분류 브랜치 훈련 시 고해상도 영상을 도입하여 모델의 강인성과 일반화 능력을 향상시킨다.
• 초해상도 및 분류 브랜치 양쪽에서 다중 척도 특징을 효과적으로 융합할 수 있는 새로운 특징 융합 메커니즘을 설계한다.

제안 방법

• 초해상도 모듈은 저해상도 영상에서 계층적 특징을 추출하기 위해 다중 척도 수신 영역를 갖춘 다중 특징 추출 블록(MFEblock)을 사용한다.
• 초해상도 모듈에서 다중 척도 특징을 효과적으로 융합하기 위해 새로운 다중 척도 선택적 융합(MSF) 메커니즘을 도입하여 복원 품질을 향상시킨다.
• 분류 모듈은 하이브리드 접근 방식을 사용한다: 다중 척도 특징 추출을 위해 SKNet을, 특징 피라미드 구축을 위해 FPN을 사용하며, 특징 융합을 향상시키기 위해 교차 척도 선택적 융합(CSFblock)을 도입한다.
• 입력이 저해상도일지라도 분류 브랜치 훈련 시 고해상도 영상을 도입하여 특징 학습과 일반화 능력을 향상시킨다.
• 초해상도 손실과 분류 손실을 동시에 최적화하여 전체 모델을 엔드 투 엔드로 훈련함으로써 공유된 특징 학습을 가능하게 한다.
• 분류 브랜치의 표현 학습을 향상시키기 위해 대trastive learning 손실(NT-Xent)을 적용한다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 모델이 저해상도 유방암 조직병리 영상에서 동시에 초해상도 복원과 분류를 효과적으로 수행할 수 있는가?
• RQ2 저해상도 입력을 처리하는 모델의 훈련 중 고해상도 영상을 통합함으로써 성능 향상이 이루어지는가?
• RQ3 제안된 다중 척도 선택적 융합(MSF) 메커니즘이 표준 연결 또는 고정 수신 영역 방법에 비해 초해상도 품질 향상에 얼마나 효과적인가?
• RQ4 SKNet과 FPN을 새로운 CSFblock과 결합함으로써 다중 척도 특징 추출 및 분류 정확도 향상에 어느 정도 기여하는가?
• RQ5 초해상도 및 분류 모듈을 함께 훈련하는 것이 별도 훈련 대비 종합 진단 성능에 어떤 영향을 미치는가?

주요 결과

• SHISRCNet은 x2↓ 저해상도 영상에서 40x 배율에서 97.49%, 100x에서 96.19%, 200x에서 97.60%, 400x에서 97.04%의 분류 정확도를 기록하여 고해상도 입력으로 훈련된 최신 기술 수준의 모델에 근접한 성능을 달성한다.
• x4↓ 및 x8↓ 저해상도 영상에서 테스트한 결과, 각각 40x, 100x, 200x, 400x에서 정확도가 94.15%, 94.22%, 95.14%, 95.26%로 유지되며, 동일한 입력에 대해 기준 분류 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, 다중 척도 선택적 융합(MSF) 메커니즘을 제거하면 PSNR가 2.48 dB 감소하고 정확도가 약 1.5%p 감소하여, 초해상도 품질 향상에서의 핵심적 역할을 확인하였다.
• FPN과 CSFblock 조합을 제거하면 정확도가 93.98%로 떨어지며, 분류 모듈의 하이브리드 다중 척도 특징 추출 전략의 효과성을 입증하였다.
• 훈련 중 고해상도 영상의 감독을 생략할 경우 정확도가 4%p 이상 감소하여, HR 데이터 통합이 일반화 능력과 강인성 향상에 기여함을 입증하였다.
• NT-Xent 대비 학습 손실을 제거하면 평균적으로 정확도가 약 2.4%p 감소하여, 표현 학습 향상에 기여함을 확인하였다.