[논문 리뷰] Momentum Contrastive Voxel-wise Representation Learning for Semi-supervised Volumetric Medical Image Segmentation

Chenyu You, Ruihan Zhao외 2명|arXiv (Cornell University)|2021. 05. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 17

한 줄 요약

이 논문은 비현저한 3D 의료 영상 분할 프레임워크인 대비 볼륨 표현 학습(CVRL)을 제안한다. 이는 볼륨 단위(배치 수준)와 차원 단위(특징 수준)의 이중 대비 학습을 통해 특징의 다양성을 향상시킨다. 내부 인스턴스 특징 다양성 정규화와 고수준 3D 공간적 맥락 모델링을 통합함으로써, 기준 데이터셋에서 10% 레이블링 조건 하에 기존 방법보다 최대 5.21% 높은 Dice 점수를 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Contrastive learning (CL) aims to learn useful representation without relying on expert annotations in the context of medical image segmentation. Existing approaches mainly contrast a single positive vector (i.e., an augmentation of the same image) against a set of negatives within the entire remainder of the batch by simply mapping all input features into the same constant vector. Despite the impressive empirical performance, those methods have the following shortcomings: (1) it remains a formidable challenge to prevent the collapsing problems to trivial solutions; and (2) we argue that not all voxels within the same image are equally positive since there exist the dissimilar anatomical structures with the same image. In this work, we present a novel Contrastive Voxel-wise Representation Learning (CVRL) method to effectively learn low-level and high-level features by capturing 3D spatial context and rich anatomical information along both the feature and the batch dimensions. Specifically, we first introduce a novel CL strategy to ensure feature diversity promotion among the 3D representation dimensions. We train the framework through bi-level contrastive optimization (i.e., low-level and high-level) on 3D images. Experiments on two benchmark datasets and different labeled settings demonstrate the superiority of our proposed framework. More importantly, we also prove that our method inherits the benefit of hardness-aware property from the standard CL approaches.

연구 동기 및 목표

• 대용량의 레이블 없음 데이터를 활용하여 볼륨 분할에서 레이블이 제한된 3D 의료 스캔 문제를 해결하기 위해.
• 특징 수준에서의 내부 인스턴스 제약 조건을 도입하여 대비 학습에서의 차원 붕괴를 극복하기 위해.
• 3D 특징 공간에서 저수준의 공간 상관관계와 고수준의 맥락 표현을 함께 모델링하여 분할 정확도를 향상시키기 위해.
• 기존 준지도 학습 파ip라인과 호환되는 즉시 사용 가능한 대비 학습 프레임워크를 개발하기 위해.

제안 방법

• 저수준 대비(3D 부분공간에서의 대비)를 통해 국소 해부학적 세부 정보를 캡처하고, 고수준 대비(특징 공간에서의 대비)를 통해 전반적인 맥락을 모델링하는 새로운 이중 수준 대비 학습 전략을 도입한다.
• 각 3D 스캔 내에서 채널 차원을 따라 특징 다양성을 강제하는 차원 대비 목적함수를 제안하여 잠재적 해답을 방지한다.
• 고수준 표현을 인코딩하기 위해 3D 프로젝션 헤드를 사용하여 데이터 증강에 대해 불변인 구분 가능한 임bedding을 학습할 수 있도록 한다.
• 일致성 손실을 정규화 항으로 통합하여 안정성을 향상시키면서도, 기존 준지도 학습 프레임워크와의 호환성을 유지한다.
• 학습 중 모멘텀 인코더의 안정성을 향상시키기 위해 모멘텀 기반 업데이트를 적용하여 다양한 시각 간의 표현 일致성을 강화한다.
• 공간적 및 특징 차원에서 강력한 증강을 적용하며, 새로운 특징 수준의 대비 손실이 증강된 시각이 동일한 벡터로 수축하지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 내부 인스턴스(특징 수준)의 대비 학습이 3D 의료 영상 표현 학습에서 차원 붕괴를 효과적으로 방지할 수 있는가?
• RQ2 저수준 및 고수준 대비 목적함수를 동시에 최적화하면 저도약 레이블링 조건 하에서 분할 성능이 향상되는가?
• RQ3 제한된 애너테이션 조건 하에서 제안된 방법이 최신 기술 수준의 준지도 3D 분할 모델보다 경계 정확도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 볼륨 단위 및 차원 대비 학습이 모델 성능에 독립적이고 상호보완적으로 기여하는 정도는 어느 정도인가?

주요 결과

• LA-Net 데이터셋에서 10% 레이블링 데이터(8개 레이블 스캔) 조건 하에 CVRL은 88.56%의 Dice 점수를 기록하여 베이스라인 대비 5.47%포인트 향상되었다.
• 20% 레이블링 데이터 조건에서 CVRL은 90.45%의 Dice 점수와 83.02%의 Jaccard 지수를 달성하여 뛰어난 경계 정확도와 형태 일관성을 입증했다.
• 제거 실험 결과, 고수준, 저수준, 일치성 손실을 모두 조합할 경우 성능이 가장 우수하며, 베이스라인 대비 평균 표면 거리(ASD)는 48.3% 감소하고 95% 경계 거리(95HD)는 58.0% 감소하였다.
• 췌장 데이터셋에서 CVRL은 최신 기술 수준의 방법 대비 3.25~5.21%의 상대적 향상된 Dice 점수를 기록하여 다양한 해부학적 구조에서의 강건성을 입증했다.
• 이 방법은 대비 학습의 경중도 인식 특성을 이어받아, 복잡한 3D 해부학적 맥락에서 더 구분 가능한 표현을 학습하는 데 기여한다.
• 시각화 결과, 극한의 레이블 부족 조건 하에서도 CVRL은 경계 영역에서 더 정확하고 일관성 있는 분할 마스크를 생성하는 것으로 나타났다.