[논문 리뷰] Stain-invariant self supervised learning for histopathology image analysis

Alexandre Tiard, Alex Wong외 6명|arXiv (Cornell University)|2022. 11. 14.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 H&E 염색된 전체 슬라이드 이미지에서의 염색 변동성을 고려하여 일관된 잠재 표현을 강제함으로써 염색에 강인한 자기지도 학습 방법을 제안한다. 이는 배치 내에서 무작위로 선택된 대상에 따라 이미지를 정규화하고, 서로 다른 염색 조건에서 동일한 조직에 대한 임bedding 거리의 최소화를 통해 이루어진다. 이 방법은 대규모 사전학습이나 복잡한 아키텍처 없이도 여러 유방암 분류 작업(종양 탐지, 분류, HER2 상태 예측, 치료 반응 예측 등)에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We present a self-supervised algorithm for several classification tasks within hematoxylin and eosin (H&E) stained images of breast cancer. Our method is robust to stain variations inherent to the histology images acquisition process, which has limited the applicability of automated analysis tools. We address this problem by imposing constraints a learnt latent space which leverages stain normalization techniques during training. At every iteration, we select an image as a normalization target and generate a version of every image in the batch normalized to that target. We minimize the distance between the embeddings that correspond to the same image under different staining variations while maximizing the distance between other samples. We show that our method not only improves robustness to stain variations across multi-center data, but also classification performance through extensive experiments on various normalization targets and methods. Our method achieves the state-of-the-art performance on several publicly available breast cancer datasets ranging from tumor classification (CAMELYON17) and subtyping (BRACS) to HER2 status classification and treatment response prediction.

연구 동기 및 목표

• H&E 염색된 전체 슬라이드 이미지에서의 염색 변동성이 자동화된 조직병리학 모델의 일반화 능력을 제한하는 문제를 해결하기 위해.
• 데이터 사전 처리나 다양한 도메인 데이터셋에 대한 접근 없이도 염색 변동성에 강인한 자기지도 표현 학습 방법을 개발하기 위해.
• 다중 센터 조직병리학 데이터에서 종양 분류, 분류, HER2 상태 예측, 치료 반응 예측 등의 다양한 후행 작업에서의 분류 성능 향상을 위해.
• 최소한의 아키텍처 복잡성과 낮은 데이터 처리 오버헤드를 통해 효과적인 전이 학습을 가능하게 하기 위해.

제안 방법

• 각 학습 반복에서 배치 내에서 무작위로 선택된 이미지를 염색 정규화 대상으로 삼는다.
• 모든 이미지를 색소 분해 기법(예: SVD 또는 SNMF)을 사용하여 선택된 대상에 정규화한다.
• 동일한 조직에 대해 서로 다른 염색 조건에서의 임베딩이 가까워지도록, 다른 조직의 임베딩는 멀어지도록 모델이 잠재 표현을 학습한다.
• 원본 데이터와 그 정규화된 변형 간에 유사한 손실을 직접 적용하여 잠재 공간에서의 위상적 구조를 강제한다.
• 후행 분류 작업(예: 종양 분류, HER2 상태)과 잠재 임베딩 손실을 함께 최적화한다.
• 대규모 사전학습이나 GAN 기반 정규화에 의존하지 않아 계산 및 데이터 처리 부담을 줄인다.

실험 결과

연구 질문

• RQ1 도메인 특화의 정규화나 대규모 데이터셋에서의 사전학습 없이도 자기지도 표현 학습 방법이 H&E 염색 조직병리학 이미지에서 염색 변동성에 강인하게 작동할 수 있는가?
• RQ2 염색 변동성 간에 일관된 잠재 임베딩를 강제함으로써 다중 센터 조직병리학 데이터에서의 후행 분류 성능 향상은 어떻게 이루어지는가?
• RQ3 새로운 잠재 공간 제약을 가진 단순한 ResNet18이 GAN이나 57개의 다양한 데이터셋에서 사전학습된 복잡한 아키텍처를 능가할 수 있는가?
• RQ4 이 방법은 HER2 상태 예측 및 치료 반응 분류와 같은 새로운 센터와 작업으로의 일반화 정도가 어느 정도인가?
• RQ5 제안된 방법은 다양한 임상 센터에 모델를 구현할 때 수동 애너테이션과 재학습의 필요성을 줄일 수 있는가?

주요 결과

• CAMELYON17 데이터셋에서 SOTA 성능을 달성하였으며, RUMC 테스트 세트에서 92.6% 정확도, RST에서 96.1%, LPON에서 88.3%를 기록하여 HistAuGAN을 능가했다.
• BRACS에서 종양 분류에 대해, 대상 도메인으로 정규화한 경우 SOTA 성능을 달성하여 염색 변동성에 강인함을 입증했다.
• 트라스투주맙 반응 예측에서 88.3%의 정확도를 기록하여 치료 계획 수립에 실질적인 통찰을 제공했다.
• 단일 센터 학습 세트만을 사용했음에도 불구하고 네 개의 다른 센터로의 일반화가 효과적으로 이루어져 강력한 다중 센터 간 강인함을 보였다.
• 모델은 13M 파라미터와 12ms 추론 시간을 사용하여 HistAuGAN(28M 파라미터)에 비해 모델 크기와 추론 비용을 크게 줄였다.
• 동일한 조직에 대해 서로 다른 염색 조건에서의 잠재 공간 클러스터가 더 견고하게 집합되어 있어, 임베딩 제약이 강력한 표현을 생성하는 데 효과적임을 확인했다.