[논문 리뷰] Orientation-Disentangled Unsupervised Representation Learning for Computational Pathology

Maxime W. Lafarge, Josien P. W. Pluim외 1명|arXiv (Cornell University)|2020. 08. 26.

AI in cancer detection참고 문헌 84인용 수 6

한 줄 요약

이 논문은 히스토패스로지 이미지에서 등방성(비방향성) 및 방향성 형태학적 특징을 별개의 성분으로 분할함으로써 잠재공간을 분할하는 회전 등변성 변분 오토인코더를 제안한다. 방향성에 민감하지 않은 표현을 학습함으로써 일반화 및 해석 가능성 향상을 이끌어내어 세포 수준 및 환자 수준의 평가 과제에서 표준 VAE와 수작업 특징보다 핵심 벤치마크에서 성능을 뛰어넘는다.

ABSTRACT

Unsupervised learning enables modeling complex images without the need for annotations. The representation learned by such models can facilitate any subsequent analysis of large image datasets. However, some generative factors that cause irrelevant variations in images can potentially get entangled in such a learned representation causing the risk of negatively affecting any subsequent use. The orientation of imaged objects, for instance, is often arbitrary/irrelevant, thus it can be desired to learn a representation in which the orientation information is disentangled from all other factors. Here, we propose to extend the Variational Auto-Encoder framework by leveraging the group structure of rotation-equivariant convolutional networks to learn orientation-wise disentangled generative factors of histopathology images. This way, we enforce a novel partitioning of the latent space, such that oriented and isotropic components get separated. We evaluated this structured representation on a dataset that consists of tissue regions for which nuclear pleomorphism and mitotic activity was assessed by expert pathologists. We show that the trained models efficiently disentangle the inherent orientation information of single-cell images. In comparison to classical approaches, the resulting aggregated representation of sub-populations of cells produces higher performances in subsequent tasks.

연구 동기 및 목표

• 히스토패스로지 이미지의 비지도 표현 학습에서 방향성에 의한 불필요한 변동 문제를 해결하기 위해.
• 조직 이미지의 등방성(비방향성) 및 방향성 형태학적 요인을 분리하는 분리된 잠재공간을 개발하기 위해.
• 방향성에 강건한 표현을 학습함으로써 환자 수준의 평가 과제 성능 향상을 위해.
• 대규모 WSI 분석을 위한 해석 가능하고 정보량이 많으며 계산적으로 효율적인 표현을 제공하기 위해.
• 의료 영상 분석에서 회전 인자에 대한 비지도 분리의 일반적 프레임워크를 제공하기 위해.

제안 방법

• 회전의 등변성 특성을 가지는 컨볼루션 네트워크를 도입하여 VAE 프레임워크를 확장함으로써 회전의 군 구조를 모델링한다.
• 잠재공간을 두 개의 독립된 성분으로 분할: 등방성(실수값) 및 방향성(각도) 요인.
• 회전군 상에서 각도 변수의 엔드 투 엔드 학습을 가능하게 하기 위해 역수 샘플링 레이어를 사용한다.
• 방향성을 별개의 생성 요인으로 명시적으로 모델링하는 구조화된 사후 분포를 적용한다.
• 등방성 및 방향성 성분이 조건부 독립이 되도록 하는 분리된 생성 모델을 적용한다.
• 레이블이 없는 전체 슬라이드 이미지 패치에서 비지도 방식으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 분리된 잠재공간은 히스토패스로지 이미지에서 등방성 및 방향성 형태학적 특징을 효과적으로 분리할 수 있는가?
• RQ2 방향성의 분리를 통해 세포 수준 및 환자 수준의 평가 과제 성능이 향상되는가?
• RQ3 제안된 방향성 분리 표현은 표준 VAE와 수작업 특징에 비해 예측 성능에서 어떻게 비교되는가?
• RQ4 등방성 및 방향성 성분이 핵의 다형성 및 미세분열 활동과 같은 독립적인 생물학적 특징을 얼마나 잘 표현하는가?
• RQ5 학습된 표현은 해석 가능한 분석 및 전체 슬라이드 이미지의 효율적 압축을 지원할 수 있는가?

주요 결과

• 등방성 표현은 환자 수준의 다형성 평가 과제에서 표준 VAE와 수작업 특징인 핵 면적 특징과 비교해 일관되게 우수하거나 동등한 성능을 보였다.
• 종양 증식 평가 과제에서는 방향성 특징이 등방성 특징보다 略적으로 더 높은 예측 능력을 보였으며, 이는 양 성분이 슬라이드 수준의 결과에 기여하고 있음을 시사한다.
• 생성된 이미지의 부드러운 보간을 통해 등방성 성분이 염색 비율, 핵 경계 두께 및 흩어름을 표현하는 것으로 확인되었고, 방향성 성분은 반경 방향 위치 및 비대칭 구조를 포착하는 것으로 나타났다.
• 분리된 표현은 집합적 세포 집단 표현의 품질을 향상시켜 후속 모델의 일반화 능력을 향상시켰다.
• 이 프레임워크는 학습된 요인의 시각적 점검을 가능하게 하여 표현의 해석 가능성과 예측 가능한 형태학적 특징에 대한 생물학적 통찰을 제공했다.
• 이 방법은 WSI 압축 및 패치 기반 분류를 위한 사전 훈련 등 다른 과제로의 이식 가능성도 입증했다.