[논문 리뷰] Instance-based Vision Transformer for Subtyping of Papillary Renal Cell Carcinoma in Histopathological Image

Zeyu Gao, Bangyang Hong외 7명|arXiv (Cornell University)|2021. 06. 23.

AI in cancer detection참고 문헌 16인용 수 5

한 줄 요약

이 논문은 조직병리학적 영상에서 편평한 신장세포암(panillary renal cell carcinoma, pRCC)의 미세한 분류를 위해 핵 수준의 인스턴스 패치와 위치 및 등급 임베딩을 활용한 인스턴스 기반 비전 트랜스포머(i-ViT)를 제안한다. 이는 미세한 세포 및 세포층 패턴을 포착하기 위해 개발되었다. 이 방법은 93.01%의 전체 정확도를 달성하여 기존의 CNN 기반 모델과 수작업 특징 방법을 크게 능가한다.

ABSTRACT

Histological subtype of papillary (p) renal cell carcinoma (RCC), type 1 vs. type 2, is an essential prognostic factor. The two subtypes of pRCC have a similar pattern, i.e., the papillary architecture, yet some subtle differences, including cellular and cell-layer level patterns. However, the cellular and cell-layer level patterns almost cannot be captured by existing CNN-based models in large-size histopathological images, which brings obstacles to directly applying these models to such a fine-grained classification task. This paper proposes a novel instance-based Vision Transformer (i-ViT) to learn robust representations of histopathological images for the pRCC subtyping task by extracting finer features from instance patches (by cropping around segmented nuclei and assigning predicted grades). The proposed i-ViT takes top-K instances as input and aggregates them for capturing both the cellular and cell-layer level patterns by a position-embedding layer, a grade-embedding layer, and a multi-head multi-layer self-attention module. To evaluate the performance of the proposed framework, experienced pathologists are invited to selected 1162 regions of interest from 171 whole slide images of type 1 and type 2 pRCC. Experimental results show that the proposed method achieves better performance than existing CNN-based models with a significant margin.

연구 동기 및 목표

• 편평한 신장세포암(pRCC)을 유형 1과 유형 2로 미세한 분류하는 데 도전하는 것 — 이들은 유사한 조직 구조 패턴을 보이지만 세포 수준과 세포층의 미세한 차이를 보인다.
• 큰 웨이브슬라이드 영상에서 작은, 무작위로 분포된, 미세한 조직학적 특징을 포착하는 데에 전통적인 CNN의 한계를 극복하는 것.
• 공간적 위치와 조직학적 등급을 포함한 핵 수준의 특징을 명시적으로 모델링하는 딥 러닝 프레임워크를 개발하여 표현 학습을 향상시키는 것.
• 표준 ViT와 달리 모든 영상 패치가 아닌 관련 있는 핵 인스턴스에만 집중함으로써 계산 복잡도와 배경 노이즈를 줄이는 것.

제안 방법

• 세분화된 핵 주변 영역을 잘라내어 인스턴스 수준의 패치를 추출하며, 핵의 등급을 예측하기 위해 추가 분류 헤드를 갖춘 세분화 네트워크를 사용한다.
• 핵 크기와 예측된 등급을 바탕으로 상위 K개의 패치를 선택하여 표현 학습을 위한 정보성 높은 인스턴스를 우선시한다.
• 각 선택된 패치는 CNN을 통해 임베딩되며, 위치 정보와 등급 정보는 전용의 위치 임베딩 레이어와 등급 임베딩 레이어를 사용해 인코딩된다.
• 다중 헤드, 다중 레이어 자기주의 메커니즘이 인코딩된 인스턴스 임베딩을 통합하여, 핵 간의 장거리 의존성과 상관 관계 패턴을 학습할 수 있도록 한다.
• 표준 ViT와 비교해 상위 K개의 인스턴스만을 대상으로 하는 선택적 입력 시퀀스를 사용함으로써 계산 부담을 줄이고 생물학적으로 관련 있는 특징에 집중한다.
• 주요 i-ViT 버전의 경우, 10 에포크 동안 선형 웜업 학습률 스케줄을 사용하여 모델을 훈련시키며, 입력 시퀀스 길이를 500으로 설정한다.

실험 결과

연구 질문

• RQ1 기존의 CNN이 미세한 세포 및 세포층 차이로 인해 실패할 때, 비전 트랜스포머 모델이 pRCC 분류에서 미세한 조직학적 패턴을 효과적으로 학습할 수 있는가?
• RQ2 위치, 크기, 등급과 같은 핵 수준의 특징을 모델링하면, 전체 영상 패치 처리 방식과 비교해 분류 성능가 어떻게 향상되는가?
• RQ3 pRCC 분류에 최적의 인스턴스 패치 크기, 입력 시퀀스 길이, 트랜스포머 아키텍처 스케일 조합은 무엇인가?
• RQ4 모든 영상 패치를 처리하는 것과 비교해 상위 K개의 핵 인스턴스에만 집중함으로써 성능 향상과 노이즈 감소는 어느 정도 이루어지는가?

주요 결과

• 제안된 i-ViT는 pRCC 분류 과제에서 93.01%의 전체 정확도를 달성하여, 이어지는 최고 성능 모델인 GBDT-GH(88.21% 정확도)를 크게 능가했다.
• i-ViT 모델은 더 어려운 유형 2 pRCC에 대해 92.31%의 높은 F1 스코어를 기록하여, 더 높은 등급의 핵을 가진 하위군에서 강력한 성능을 보였다.
• 모델의 성능은 인스턴스 패치 크기와 입력 시퀀스 길이에 민감했으며, 최적의 성능은 P=64 및 N=500–1000에서 나타났다. N=1500일 경우 제한된 핵 수량으로 인해 과적합으로 인해 성능 저하가 발생했다.
• 거대 규모(H-24-12)와 중간 규모(M-12-12) 트랜스포머가 소규모(T-6-6) 모델보다 성능이 뛰어났으며, 소규모 모델은 과소적합 문제를 겪었다.
• 작은 패치(P=16)는 핵의 일부만 포착하여 특징 표현이 불완전해져 성능이 열악했다.
• 제거 분석 결과, 위치 및 등급 임베딩을 통합함으로써 모델 성능이 크게 향상되었으며, 이는 인스턴스 기반 주의 메커니즘 설계의 타당성을 입증했다.