[논문 리뷰] HoVer-Trans: Anatomy-aware HoVer-Transformer for ROI-free Breast Cancer Diagnosis in Ultrasound Images

Yuhao Mo, Chu Han외 15명|arXiv (Cornell University)|2022. 05. 17.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 초음파 영상에서 유방암 진단을 위한 새로운 ROI-free 트랜스포머 기반 모델인 HoVer-Trans를 제안한다. 이 모델은 수평 및 수직 공간 주의 메커니즘을 통해 해부학적 사전 지식을 통합한다. 패치, 수평 스트립, 수직 스트립 임bedding을 활용함으로써, 단일 초음파 영상만을 사용하여도 최신 기술 수준의 분류 성능를 달성하며, 해석이 용이한 주의 맵을 생성한다. 이는 기존의 딥러닝 베이스라인과 고급 초음파 전문의의 성능을 모두 초월한다.

ABSTRACT

Ultrasonography is an important routine examination for breast cancer diagnosis, due to its non-invasive, radiation-free and low-cost properties. However, the diagnostic accuracy of breast cancer is still limited due to its inherent limitations. It would be a tremendous success if we can precisely diagnose breast cancer by breast ultrasound images (BUS). Many learning-based computer-aided diagnostic methods have been proposed to achieve breast cancer diagnosis/lesion classification. However, most of them require a pre-define ROI and then classify the lesion inside the ROI. Conventional classification backbones, such as VGG16 and ResNet50, can achieve promising classification results with no ROI requirement. But these models lack interpretability, thus restricting their use in clinical practice. In this study, we propose a novel ROI-free model for breast cancer diagnosis in ultrasound images with interpretable feature representations. We leverage the anatomical prior knowledge that malignant and benign tumors have different spatial relationships between different tissue layers, and propose a HoVer-Transformer to formulate this prior knowledge. The proposed HoVer-Trans block extracts the inter- and intra-layer spatial information horizontally and vertically. We conduct and release an open dataset GDPH&SYSUCC for breast cancer diagnosis in BUS. The proposed model is evaluated in three datasets by comparing with four CNN-based models and two vision transformer models via five-fold cross validation. It achieves state-of-the-art classification performance with the best model interpretability. In the meanwhile, our proposed model outperforms two senior sonographers on the breast cancer diagnosis when only one BUS image is given.

연구 동기 및 목표

• 초음파 영상에서 임상적으로 해석 가능한 ROI-free 딥러닝 모델을 개발하기 위해.
• 특히, 유방 조직 층 간의 공간적 관계를 모델 아키텍처에 해부학적 사전 지식으로 통합하기 위해.
• 블랙박스 모델이 임상 현장에서 가지는 한계를 해결하기 위해, 종양-조직 층 상호작용을 반영하는 주의 맵을 생성하기 위해.
• 미래 연구를 지원하기 위해 대규모이고 개방형이며 다중 기관에서 수집된 데이터셋(GDPH&SYSUCC)을 공개하기 위해.
• 단일 초음파 영상만을 사용하여도 전문 초음파 전문의의 진단 정확도를 초월하는 성능을 향상시키기 위해.

제안 방법

• HoVer-Trans 모델은 CNN과 비전 트랜스포머 요소를 융합한 하이브리드 아키텍처를 사용하며, 층 간 상호작용(수평)과 층 내 상호작용(수직)을 포괄하는 새로운 HoVer-Trans 블록을 설계하였다.
• 세 가지 임베딩 방법이 도입되었으며, 각각 로컬 특징을 위한 패치 임베딩, 층 단위 공간적 맥락을 위한 수평 스트립 임베딩, 층 간 구조적 연속성을 위한 수직 스트립 임베딩이다.
• 모델은 트랜스포머 스테이지 사이에 컨볼루션 레이어를 통합하여 특징 융합과 안정성을 향상시키며, 주의 맵 품질과 분류 정확도를 개선한다.
• 해부학적 사전 지식은 선천적으로 종양의 기원이 되는 땀샘 층과 깊은 층(근육, 측부 흉부) 간의 공간적 관계를 강조하는 주의 메커니즘으로 구조화되어 있다.
• 모델은 세 가지 데이터셋(최근 공개된 GDPH&SYSUCC 데이터셋 포함)을 대상으로 5겹 교차 검증을 통해 엔드 투 엔드로 훈련되었다. 이 중 GDPH&SYSUCC 데이터셋은 총 2,405장의 전체 BUS 영상으로 구성되어 있다.
• 의사적 추론과 일치하는 종양-조직 층 상호작용을 강조하는 주의 맵을 시각화함으로써 모델의 해석 가능성이 향상되었다.

실험 결과

연구 질문

• RQ1 ROI-free 딥러닝 모델이 임상적 해석 가능성을 유지하면서도 초음파 영상에서 유방암 진단 성능을 향상시킬 수 있는가?
• RQ2 조직 층 간 관계에 대한 해부학적 사전 지식를 비전 트랜스포머 아키텍처에 효과적으로 통합할 수 있는가?
• RQ3 표준 트랜스포머나 CNN 대비 수평 및 수직 공간 주의를 통합함으로써 분류 정확도와 주의 맵 품질이 향상되는가?
• RQ4 제안된 모델이 단일 초음파 영상만을 제공받을 경우 전문 초음파 전문의의 성능을 초월할 수 있는가?
• RQ5 패치, 수평, 수직 임베딩 등의 다양한 임베딩 구성이 모델 성능 및 해석 가능성에 미치는 영향은 어떠한가?

주요 결과

• HoVer-Trans 모델은 세 가지 데이터셋에서 최신 기술 수준의 분류 성능를 달성하였으며, 네 가지 CNN 기반 모델과 두 가지 비전 트랜스포머 베이스라인을 모두 능가하였다.
• 단일 초음파 영상만을 제공받을 경우, 두 명의 고급 초음파 전문의보다도 모델의 진단 정확도가 유의미하게 높았다.
• 아블레이션 연구 결과, 수평 및 수직 주의와 1×1 컨볼루션 레이어의 조합이 가장 정확하고 해석 가능한 주의 맵을 생성하는 것으로 확인되었다.
• 최적의 구성은 패치 임베딩에 2×2 해상도와 수평/수직 스트립 임베딩에 각각 2×가로 및 2×세로 해상도를 사용하는 것으로 나타났다.
• ROI 레이블 없이도 전체 영상의 맥락을 활용하여 병변-조직 층 관계 이해를 향상시킴으로써 높은 성능를 유지하였다.
• GDPH&SYSUCC 데이터셋(두 기관에서 수집한 총 2,405장의 영상)의 공개는 향후 유방 초음파 진단 분야의 연구에 유의미한 자원을 제공한다.