[논문 리뷰] Hierarchical discriminative learning improves visual representations of biomedical microscopy

Cheng Jiang, Xinhai Hou외 6명|arXiv (Cornell University)|2023. 03. 02.

Cell Image Analysis Techniques인용 수 6

한 줄 요약

이 논문은 환자-슬라이드-패치 데이터 계층을 활용하여 생물의학적 현미경 영상의 시각적 표현 학습을 향상시키는 계층적 비지도 판별 학습 방법인 HiDisc를 제안한다. 계층 내 공통 조상에 기반한 양성 쌍을 정의하고, 패치, 슬라이드, 환자 수준의 통합된 판별 목적함수를 사용함으로써, 강력한 데이터 증강 기법에 의존하지 않고도 암 진단 및 유전자 돌연변이 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Learning high-quality, self-supervised, visual representations is essential to advance the role of computer vision in biomedical microscopy and clinical medicine. Previous work has focused on self-supervised representation learning (SSL) methods developed for instance discrimination and applied them directly to image patches, or fields-of-view, sampled from gigapixel whole-slide images (WSIs) used for cancer diagnosis. However, this strategy is limited because it (1) assumes patches from the same patient are independent, (2) neglects the patient-slide-patch hierarchy of clinical biomedical microscopy, and (3) requires strong data augmentations that can degrade downstream performance. Importantly, sampled patches from WSIs of a patient's tumor are a diverse set of image examples that capture the same underlying cancer diagnosis. This motivated HiDisc, a data-driven method that leverages the inherent patient-slide-patch hierarchy of clinical biomedical microscopy to define a hierarchical discriminative learning task that implicitly learns features of the underlying diagnosis. HiDisc uses a self-supervised contrastive learning framework in which positive patch pairs are defined based on a common ancestry in the data hierarchy, and a unified patch, slide, and patient discriminative learning objective is used for visual SSL. We benchmark HiDisc visual representations on two vision tasks using two biomedical microscopy datasets, and demonstrate that (1) HiDisc pretraining outperforms current state-of-the-art self-supervised pretraining methods for cancer diagnosis and genetic mutation prediction, and (2) HiDisc learns high-quality visual representations using natural patch diversity without strong data augmentations.

연구 동기 및 목표

• 기존 자기지도 학습(SSL) 방법이 패치를 독립적인 인스턴스로 간주하고 환자-슬라이드-패치 계층을 忽시하는 한계를 해결하기 위해.
• 임상 병리학에서 전체 슬라이드 이미지(WSIs)의 본질적인 계층적 구조를 활용하여 시각적 표현 품질을 향상시키기 위해.
• 현미경 영상에서 분류 기능을 악화시킬 수 있는 도메인에 관계없는 강력한 데이터 증강 기법에 대한 의존도를 줄이기 위해.
• 패치, 슬라이드, 환자 수준의 판별을 동시에 최적화하는 통합된 SSL 목적함수를 개발하기 위해.
• 실제 생물의학적 현미경 영상 데이터셋을 사용하여 조직병리학 분류 및 유전자 돌연변이 예측 작업에서 뛰어난 최종 성능을 입증하기 위해.

제안 방법

• HiDisc는 계층 내 공통 조상에 기반한 양성 패치 쌍을 정의하는 대비 학습 프레임워크를 사용하며, 이는 무작위 증강 기법이 아닌 계층적 구조를 기반으로 한다.
• 이 방법은 패치 수준, 슬라이드 수준, 환자 수준의 판별을 동시에 최적화하는 통합된 판별 목적함수를 도입한다.
• 동일한 환자 또는 슬라이드에서 패치를 샘플링하여 양성 쌍을 구성함으로써 다양성을 높이면서도 생물학적 관련성을 유지한다.
• 학습 가능한 가중치 계수(λ)를 사용한 다수준 대비 손실 함수를 적용하여, 패치, 슬라이드, 환자 수준에서의 손실을 함께 최적화한다.
• 이 방법은 어떤 시아미즈 표현 학습 프레임워크에도 일반화 가능하며, 강력한 증강 기법이 필요하지 않다.
• 두 개의 다양한 데이터셋에서 검증한 결과, 학습률 및 배치 크기의 변동에 대해 안정적인 성능을 보였다.

실험 결과

연구 질문

• RQ1 전체 슬라이드 이미지의 계층적 구조를 활용하면 생물의학적 현미경 영상에서 자기지도 시각적 표현 학습을 향상시킬 수 있는가?
• RQ2 패치, 슬라이드, 환자 수준의 통합된 판별 목적함수는 기존의 인스턴스 수준 대비 학습보다 더 나은 최종 성능을 이끌 수 있는가?
• RQ3 강력한 데이터 증강 기법에 의존하지 않고도 HiDisc가 최신 기술 수준의 성능을 달성할 수 있는가? 특히 생물학적으로 의미 있는 특징이 손상될 수 있는가?
• RQ4 학습률, 배치 크기, 가중치 계수와 같은 하이퍼파라미터 선택에 대해 HiDisc는 얼마나 강인한가?
• RQ5 계층적 학습 목적함수는 암 진단 및 유전자 돌연변이 예측에 더 이식 가능하고 정확한 표현을 제공하는가?

주요 결과

• HiDisc는 자극형 라만 산란 현미경(SRH) 데이터셋을 사용한 다중 클래스 조직병리학적 암 진단에서 최신 기술 수준의 자기지도 사전학습 방법을 초월하여 88.4%의 정확도를 달성했다.
• 유전자 분자 돌연변이 예측을 위한 TCGA 데이터셋에서 HiDisc는 환자 수준에서 92.0%의 정확도를 기록하여 이전 최신 기술 수준 방법을 능가했다.
• SRH 데이터셋에서 패치 수준에서 89.9%의 AUROC를 기록했고, TCGA 데이터셋에서 슬라이드 수준에서 93.6%의 AUROC를 달성하여 계층의 모든 수준에서 뛰어난 성능을 보였다.
• 두 데이터셋 모두에서 학습률을 10⁻⁵에서 10⁻¹으로 변화시키는 동안 높은 성능 유지를 보이며 학습률 변화에 대해 강인함을 입증했다.
• 제거 실험 결과, 환자 또는 슬라이드 수준의 감독 정보를 제거하면 성능이 떨어짐을 확인하여 계층적 목적함수가 중요하다는 것을 검증했다.
• 강력한 데이터 증강 기법 없이도 뛰어난 성능을 달성하여, 계층 내 자연스러운 패치 다양성이 고품질 표현 학습에 충분함을 입증했다.