[논문 리뷰] ProtoDiv: Prototype-guided Division of Consistent Pseudo-bags for Whole-slide Image Classification

Rui Yang, Pei Liu외 1명|arXiv (Cornell University)|2023. 04. 13.

Image Retrieval and Classification Techniques인용 수 5

한 줄 요약

이 논문은 전립선 조직 슬라이드 이미지(WSIs)에서 일致하는 가짜 배지( pseudo-bags)를 생성하기 위한 프로토타입 유도형, 플러그 앤 플레이 방식인 ProtoDiv를 제안한다. 이를 통해 약한 감독 다중 예비 학습(MIL) 분류 성능을 향상시킨다. 평균 기반 또는 어텐션 기반 프로토타입을 사용하여 계층적 랜덤 샘플링을 유도함으로써 ProtoDiv는 가짜 배지가 조직 표현형 분포를 유지하도록 보장하여, 일致하고 적응 가능한 데이터 증강을 실현한다. 이는 두 개의 공개 WSI 데이터셋에서 일곱 가지 기준 모델에 대해 분류 성능을 크게 향상시킨다.

ABSTRACT

Due to the limitations of inadequate Whole-Slide Image (WSI) samples with weak labels, pseudo-bag-based multiple instance learning (MIL) appears as a vibrant prospect in WSI classification. However, the pseudo-bag dividing scheme, often crucial for classification performance, is still an open topic worth exploring. Therefore, this paper proposes a novel scheme, ProtoDiv, using a bag prototype to guide the division of WSI pseudo-bags. Rather than designing complex network architecture, this scheme takes a plugin-and-play approach to safely augment WSI data for effective training while preserving sample consistency. Furthermore, we specially devise an attention-based prototype that could be optimized dynamically in training to adapt to a classification task. We apply our ProtoDiv scheme on seven baseline models, and then carry out a group of comparison experiments on two public WSI datasets. Experiments confirm our ProtoDiv could usually bring obvious performance improvements to WSI classification.

연구 동기 및 목표

• 계산 병리학 분야에서 제한적이고 약한 레이블이 부여된 전체 조직 슬라이드 이미지(WSIs) 문제를 해결하기 위해 다중 예비 학습(MIL)에서의 데이터 증강을 향상시키는 것.
• 훈련 샘플 전반에 걸쳐 조직 표현형 분포를 유지하는 일관된 가짜 배지를 생성하기 위한 일반화 가능하고 플러그 앤 플레이 방식의 방법을 개발하는 것.
• 기존의 가짜 배지 분할 기법의 한계—예를 들어 랜덤 분할(일致성 부족)과 클러스터 기반 방법(계산 비용이 높고 정적임)—을 극복하기 위해 동적이고 프로토타입 기반의 접근 방식을 도입하는 것.
• 모델 아키텍처 수정 없이도 효과적이고 확장 가능한 데이터 증강을 가능하게 하여 일반화 성능을 향상시키는 것.

제안 방법

• ProtoDiv는 WSI 패치 특징에서 유도된 배지 프로토타입을 도입한다. 이는 정적 평균 벡터 또는 학습 중에 학습되는 어텐션 기반 적응형 프로토타입일 수 있다.
• 프로토타입을 사용하여 각 패치와 프로토타입 간의 유사도 점수를 계산함으로써 계층적 랜덤 샘플링을 가능하게 하여 가짜 배지 분할을 수행한다.
• 가짜 배지는 조직 표현형에 걸쳐 균형 잡힌 분포를 가지는 여러 하위 배지로 WSI를 분할함으로써 형성되며, 각 하위 배지가 부모 배지의 표현형 구성 특성을 반영하도록 보장한다.
• 기존의 MIL 프레임워크에 플러그인으로 설계되어 백본 모델 아키텍처에 대한 변경이 필요 없다.
• 어텐션 기반 프로토타입은 미분 가능하며 학습 중에 함께 최적화되어 현재 분류 작업에 가장 분류 능력이 뛰어난 조직 패턴을 적응적으로 표현할 수 있다.
• 모든 가짜 배지에 걸쳐 일관되고 대표적인 샘플링을 보장하기 위해 정규화된 유사도 측정 기준을 사용한다.

실험 결과

연구 질문

• RQ1 프로토타입 기반 가짜 배지 분할 기법은 WSI 분류에서 훈련 샘플의 일관성과 대표성 향상에 기여하는가?
• RQ2 제안된 ProtoDiv 방법은 랜덤 및 K-means 클러스터링 기반 가짜 배지 분할과 비교해 성능 및 효율성 면에서 어떻게 다른가?
• RQ3 어떤 경우에 어텐션 기반 프로토타입이 정적 평균 기반 프로토타입보다 더 뛰어난 적응성과 성능을 보이는가?
• RQ4 ProtoDiv는 다양한 WSI 데이터셋에서 다양한 MIL 모델의 성능을 어느 정도 향상시키는가?
• RQ5 가령 가짜 배지 수(n)와 조직 표현형 클러스터 수(l)와 같은 하이퍼파라미터는 최종 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 어 attention 기반 프로토타입을 사용한 ProtoDiv는 TCGA-BRCA에서 ABMIL 기준 AUC 0.863을 기록하여, 랜덤 분할(0.861)과 K-means 분할(0.858)을 모두 초월했다.
• 평균 기반 프로토타입을 사용한 ProtoDiv는 ABMIL에서 AUC 0.872를 기록하여, 랜덤(0.861) 및 K-means(0.858) 기준보다 일致한 향상을 보였다.
• ProtoDiv의 시간 소모는 평균 기반일 경우 1.296초/WSI, 어텐션 기반일 경우 1.381초/WSI였으며, K-means 클러스터링의 144.231초 대비 매우 빠른 것으로 나타나 높은 효율성을 입증했다.
• 가짜 배지 수(n)가 10을 초과할 경우 AUC 성능가 표현형 수(l)에 대해 덜 민감해져 고다양성 환경에서도 안정성을 확보함을 시사했다.
• 다양한 하이퍼파라미터 설정에서 ProtoDiv의 AUC 성능는 0.8369에서 0.8715 사이를 오갔으며, n=1일 때 기준 0.7975보다 유의미하게 높은 성능을 보였다.
• 시각화 결과 어텐션 기반 프로토타입이 조직 표현형을 효과적으로 포착하고 있으며, ProtoDiv를 통해 생성된 가짜 배지가 표현형 영역 전반에 걸쳐 균일하게 패치를 분포시켜 대표성을 확보함을 확인했다.