[논문 리뷰] HATNet: An End-to-End Holistic Attention Network for Diagnosis of Breast Biopsy Images

Sachin Mehta, Ximing Lu외 4명|arXiv (Cornell University)|2020. 07. 25.

AI in cancer detection인용 수 5

한 줄 요약

HATNet는 패치 기반 감독 없이 전경 정보 모델링을 가능하게 하는 엔드 투 엔드 통합 주의망으로, 자기주의 메커니즘을 사용하여 지그아픽셀 유방 생검 영상의 분류를 수행한다. 이는 도파일 및 스토멀 조직에서 임상적으로 관련성이 있는 표현을 학습함으로써 Y-Net보다 8% 높은 정확도를 달성하고, 전문 병리의사의 성능과 동일한 수준에 이를 수 있다.

ABSTRACT

Training end-to-end networks for classifying gigapixel size histopathological images is computationally intractable. Most approaches are patch-based and first learn local representations (patch-wise) before combining these local representations to produce image-level decisions. However, dividing large tissue structures into patches limits the context available to these networks, which may reduce their ability to learn representations from clinically relevant structures. In this paper, we introduce a novel attention-based network, the Holistic ATtention Network (HATNet) to classify breast biopsy images. We streamline the histopathological image classification pipeline and show how to learn representations from gigapixel size images end-to-end. HATNet extends the bag-of-words approach and uses self-attention to encode global information, allowing it to learn representations from clinically relevant tissue structures without any explicit supervision. It outperforms the previous best network Y-Net, which uses supervision in the form of tissue-level segmentation masks, by 8%. Importantly, our analysis reveals that HATNet learns representations from clinically relevant structures, and it matches the classification accuracy of human pathologists for this challenging test set. Our source code is available at \\url{https://github.com/sacmehta/HATNet}

연구 동기 및 목표

• 지그아픽셀 조직병리 영상에서 엔드 투 엔드 딥 네트워크를 훈련시키는 데 있어 계산상의 비현실성을 해결하기 위해.
• 전역적 맥락을 상실하고 임상적으로 관련성이 있는 조직 구조를 모델링하지 못하는 패치 기반 방법의 한계를 극복하기 위해.
• 명시적 감독 없이도 전역적 표현을 학습할 수 있는 자기주의 기반 아키텍처를 개발하여 진단 정확도를 향상시키기 위해.
• 모델의 주의 메커니즘이 도파일 및 간질 조직과 같은 임상적으로 중요한 구조와 일치하는지 검증하기 위해.
• 도전적인 유방 생검 영상 분류 작업에서 전문 인간 병리의사의 진단 성능을 따라하거나 초월하기 위해.

제안 방법

• HATNet는 전체 지그아픽셀 생검 영상을 '백(bag)'으로 간주하고, 백-오브-워드 프레임워크를 사용하여 영상 패치(단어)로 분할한다.
• 계층적 자기주의 메커니즘을 활용하여 패치(단어) 간 관계와 영상 백(영역) 간 관계를 인코딩함으로써 전역적 맥락 모델링을 가능하게 한다.
• 다중 헤드 자기주의를 적용하기 전에, 패치 수준의 임베딩을 생성하기 위해 사전 훈련된 특징 추출기(예: MNASNet)를 사용한다.
• 패치 간 및 백 간 관계를 집계하는 스택된 자기주의 레이어를 통해 전역적 이미지 수준의 표현을 학습한다.
• 세그멘테이션 마스크나 인스턴스 수준의 애너테이션 없이도 주의 가중치를 사용하여 주목할 만한 영역(예: 도파일 및 간질)을 식별한다.
• 주의 지도의 정확도를 전문가 애너테이션과 비교하기 위해 ROC-AUC, F1-스코어, 딱스 스코어와 같은 표준 지표를 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자기주의 기반 네트워크는 패치 기반 또는 감독된 局부 표현 학습 없이도 지그아픽셀 유방 생검 영상의 엔드 투 엔드 분류가 가능한가?
• RQ2 HATNet의 주의 메커니즘은 도파일 영역 및 간질 조직과 같은 생물학적으로 관련성이 있는 구조에 집중하는가?
• RQ3 HATNet의 성능은 Y-Net과 같은 최신 기술 대비 정확도 및 추론 속도 측면에서 어떻게 비교되는가?
• RQ4 HATNet의 주의 지도는 유방암 진단에서 임상적으로 검증된 생물학적 지표와 어느 정도 상관이 있는가?
• RQ5 HATNet는 도전적인 테스트 세트의 유방 생검 영상 분류 작업에서 전문 인간 병리의사의 진단 정확도에 도달할 수 있는가?

주요 결과

• HATNet는 동일한 테스트 세트에서 이전 최고 성능을 기록한 Y-Net보다 8% 높은 분류 정확도를 달성한다.
• 모델은 벤치마크 테스트 세트에서 인간 병리의사의 진단 성능을 따라하며 임상적 관련성을 입증한다.
• MNASNet을 백본으로 사용할 경우, HATNet는 ROC-AUC와 F1-스코어 모두 최고 수준을 기록하여 ESPNetv2 및 MobileNetv2를 사용한 모델들을 능가한다.
• 상위 50% 예측된 백과 전문가가 애너테이션한 도파일 영역을 비교할 때, HATNet의 주의 메커니즘은 도파일 영역을 0.68의 딱스 스코어로 식별한다.
• 간질 조직의 경우, 상위 50% 예측된 워드를 사용할 때 모델은 딱스 스코어 0.75를 기록하여 병리의사가 애너테이션한 간질 조직과 강한 일치를 보인다.
• 시각화 결과는 HATNet가 다양한 크기와 질감을 가진 도파일을 효과적으로 포착하고, 유방암 진단의 핵심 생물학적 지표인 간질 영역을 우선순위로 삼고 있음을 확인한다.