[논문 리뷰] Deep Multi-Resolution Dictionary Learning for Histopathology Image Analysis

Nima Hatami, Mohsin Bilal외 1명|arXiv (Cornell University)|2021. 04. 01.

AI in cancer detection참고 문헌 43인용 수 12

한 줄 요약

이 논문은 전이 학습된 CNN 기반 백본에서 다중 해상도의 깊이 신경망 텍스처 기술자를 통합하여 전체 슬라이드 조직병리학 영상에서 조직 표현형 분석 및 분류 성능을 향상시키는 새로운 엔드 투 엔드 딥 딕셔너리 학습 프레임워크인 딥 다중 해상도 딕셔너리 학습(Deep Multi-Resolution Dictionary Learning, deep MRDL)을 제안한다. 이 방법은 PCam에서 90.4%의 정확도와 BreakHis에서 96.9%의 정확도를 기록하며, 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 계산 병리학 작업에서 뛰어난 일반화 능력과 강건성을 입증한다.

ABSTRACT

The problem of recognizing various types of tissues present in multi-gigapixel histology images is an important fundamental pre-requisite for downstream analysis of the tumor microenvironment in a bottom-up analysis paradigm for computational pathology. In this paper, we propose a deep dictionary learning approach to solve the problem of tissue phenotyping in histology images. We propose deep Multi-Resolution Dictionary Learning (deepMRDL) in order to benefit from deep texture descriptors at multiple different spatial resolutions. We show the efficacy of the proposed approach through extensive experiments on four benchmark histology image datasets from different organs (colorectal cancer, breast cancer and breast lymphnodes) and tasks (namely, cancer grading, tissue phenotyping, tumor detection and tissue type classification). We also show that the proposed framework can employ most off-the-shelf CNNs models to generate effective deep texture descriptors.

연구 동기 및 목표

• 실제 조직병리학 영상('야생의 병리 영상')에서 랩소드 데이터셋으로 훈련된 딥 러닝 모델의 성능이 일관되지 않은 문제를 해결한다. 이는 랩소드 환경에서 훈련된 모델이 일반화에 실패하는 경향이 있기 때문이다.
• 기존의 BoW 및 浅층 텍스처 기술자에 한계를 극복하기 위해, 다양한 해상도에서 공간적으로 인지 가능한 깊이 특징을 통합한다.
• 라벨이 부여된 데이터를 사용하여 특징 추출, 딕셔너리 학습, 인코딩 및 분류를 동시에 최적화하는 엔드 투 엔드로 학습 가능한 프레임워크를 개발한다.
• 다양한 염색, 해상도 및 조직 형태학적 특성을 가진 다양한 조직학적 데이터셋에서 조직 표현형 분석 및 분류 정확도를 향상시킨다.
• 사전 훈련된 CNN을 그대로 사용하여 특징 추출기를 활용하면서도, 다중 공간 해상도에서 작업에 특화된 적응형 딕셔너리를 학습할 수 있도록 한다.

제안 방법

• 단일 입력 영상에서 다중 공간 해상도에서 추출한 깊이 특징을 위한 별도의 딕셔너리를 학습하는 딥 다중 해상도 딕셔너리 학습(deep MRDL) 프레임워크를 제안한다.
• InceptionV3, ResNet18, DenseNet 등 사전 훈련된 CNN을 특징 추출기로 사용하여 다양한 레이어와 스케일에서 계층적 깊이 텍스처 기술자를 생성한다.
• 최종 분류 성능에 기여도가 높은 딕셔너리 기반으로 적응적이고 동적일 수 있는 다중 해상도 딕셔너리 융합 기법을 적용하여 해상도 인지 표현 학습을 가능하게 한다.
• 특징 학습, 딕셔너리 학습, 인코딩 및 분류기 성능을 동시에 최적화하는 공동 손실 함수를 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 패치 수준의 예측에 중간 필터링을 적용하여 공간적 스무딩을 구현함으로써 전체 슬라이드 영상(WSIs)에서 일관성 있고 고해상도의 조직 표현형 지ap을 생성한다.
• 추론 이전에 색상 정규화 및 Otsu 기반 조직 세분화를 적용하여 일관된 입력 품질을 확보하고 관련 조직 영역에 집중한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 다중 해상도 깊이 특징을 딕셔너리 학습을 통해 효과적으로 융합하여 조직병리학 영상에서의 조직 분류 성능을 향상시킬 수 있는가?
• RQ2 딥 딕셔너리 학습 프레임워크를 엔드 투 엔드로 훈련하는 것이 조직병리학 벤치마크에서 모듈식 단계별 파ip라인보다 성능을 향상시키는가?
• RQ3 다양한 딕셔너리 크기와 공간 해상도가 조직 표현형 분석 및 암 등급 분류 작업의 정확도에 미치는 영향은 어떠한가?
• RQ4 제안된 딥 MRDL 프레임워크는 대장, 유방, 림프절 등 다양한 기관과 염색 프로토콜을 가진 다양한 조직학적 데이터셋 간에 일반화 가능한가?
• RQ5 고정 또는 단일 해상도 접근 방식에 비해 다중 해상도 딕셔너리의 적응적 융합이 정확도 및 강건성 향상에 얼마나 기여하는가?

주요 결과

• 딥 MRDL 프레임워크는 PCam 데이터셋에서 90.4%의 분류 정확도를 기록하여 기존 SOTA 방법인 GDenseNet(89.8%) 및 InceptionV3(87.5%)를 초월한다.
• BreakHis 데이터셋에서 딥 MRDL는 96.9%의 정확도를 달성하여 다음으로 우수한 성능을 보인 Vo 등(96.3%)을 능가하며, 유방암 분류에서 강력한 일반화 능력을 입증한다.
• PCam에서 96.8%의 AUC를 기록하여 양성과 악성 조직을 구분하는 데 높은 분류 능력과 강건성을 보여준다.
• TCGA에서 확보한 전체 슬라이드 영상(WSIs)에 대한 정성적 결과에서, 딥 MRDL가 생성한 조직 표현형 지도는 전문 병리의사의 평가와 매우 유사하며 종양, 간질 및 염증 부위를 정확하게 국소화하고 있다.
• 절단 실험 결과 다중 해상도 학습이 성능 향상에 크게 기여하며, 다양한 공간 스케일과 특징 레이어의 딕셔너리를 융합했을 때 최적의 성능을 달성함을 확인했다.
• 모델에 특화된 미세조정 없이도 오프 더 샹스(CNN) 모델(MobileNet, DenseNet 등)을 효과적으로 활용할 수 있었으며, 이는 다양한 모델 간의 유연성과 전이 가능성의 우수함을 보여준다.