[논문 리뷰] Self-Supervised Similarity Learning for Digital Pathology

Jacob Gildenblat, Eldad Klaiman|arXiv (Cornell University)|2019. 05. 20.

AI in cancer detection참고 문헌 17인용 수 33

한 줄 요약

본 논문은 전체 슬라이드 이미지의 공간적 연속성을 활용하여 디지털 병리학용 128차원 디스크립터를 학습하는 자가지도 학습 시메이즈 네트워크를 제시하고, Camelyon16에서 ImageNet 기반 및 기타 자가지도 방법을 능가한다.

ABSTRACT

Using features extracted from networks pretrained on ImageNet is a common practice in applications of deep learning for digital pathology. However it presents the downside of missing domain specific image information. In digital pathology, supervised training data is expensive and difficult to collect. We propose a self-supervised method for feature extraction by similarity learning on whole slide images (WSI) that is simple to implement and allows creation of robust and compact image descriptors. We train a siamese network, exploiting image spatial continuity and assuming spatially adjacent tiles in the image are more similar to each other than distant tiles. Our network outputs feature vectors of length 128, which allows dramatically lower memory storage and faster processing than networks pretrained on ImageNet. We apply the method on digital pathology WSIs from the Camelyon16 train set and assess and compare our method by measuring image retrieval of tumor tiles and descriptor pair distance ratio for distant/near tiles in the Camelyon16 test set. We show that our method yields better retrieval task results than existing ImageNet based and generic self-supervised feature extraction methods. To the best of our knowledge, this is also the first published method for self-supervised learning tailored for digital pathology.

연구 동기 및 목표

• 레이블링 데이터가 희박한 디지털 병리학 분야에서 도메인 특화 특징 추출의 필요성을 제기한다.
• 전체 슬라이드 이미지의 고유한 공간적 연속성을 활용하여 자동으로 라벨이 붙은 쌍을 만든다.
• 대조 손실을 사용한 시암 네트워크를 학습시켜 컴팩트한 128차원 디스크립터를 생성한다.
• Camelyon16에서 기본 Baseline 대비 향상된 이미지 검색과 디스크립터 구분성을 입증한다.

제안 방법

• 2 mm 이내의 조직 타일은 유사하게, 10 mm를 초과하는 경우는 비유사하게 라벨링된 타일들로 이미지 쌍을 구성한다.
• 대조 손실을 사용하는 128-d 출력의 시암 네트워크를 학습시킨다: L_contrastive = (1-y)·||f1-f2||2 + y·max(0, m - ||f1-f2||2).
• 두 분기에서 공유되는 수정된 ResNet-50 백본을 인코더로 사용한다.
• 평가 전에 LAB 공간에서 염색 표준화로 타일을 정규화한다.
• ImageNet에서 사전학습된 ResNet-50 특징과 NPID 자가지도 특징과 비교한다.
• Camelyon16에서 이미지 검색과 Global ADDR 지표를 통해 평가한다.

실험 결과

연구 질문

• RQ1 수작업 라벨링 없이도 자가지도 유사도 학습이 도메인 특유의 조직병리학 특징을 포착할 수 있는가?
• RQ2 공간적 연속성을 이용한 디스크립터 기반 방법이 병리학 과제에서 ImageNet 기반 특징 및 기존 자가지도 방법을 능가하는가?
• RQ3 학습된 디스크립터가 검색 및 거리 기반 평가에서 종양과 정상 조직을 얼마나 잘 구분하는가?
• RQ4 대규모 WSI 분석을 위한 학습된 디스크립터의 차원 수와 실용적 효율성은 어느 정도인가?

주요 결과

• 전역 ADDR: ImageNet ResNet-50 = 1.38, NPID = 1.28, Ours = 1.50.
• 종양 타일 검색: ImageNet ResNet-50 = 26%, NPID = 21%, Ours = 34%.
• 우리의 디스크립터는 기준선과 비교하여 UMAP 시각화에서 종양 임베딩이 더 응집되어 나타난다.
• 본 방법은 슬라이드 간 종양 타일 검색을 더 잘 수행하여 도메인 특화 특징 포착을 시사한다.