[논문 리뷰] PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation

Yutong Xie, Jianpeng Zhang외 3명|arXiv (Cornell University)|2020. 11. 25.

Advanced Neural Network Applications참고 문헌 40인용 수 35

한 줄 요약

PGL은 3D 의료 영상에서 영역별 표현을 학습하기 위한 사전 가이드 로컬 자기지도 학습 프레임워크를 도입하여, 제한된 주석으로 미세 조정할 때 다운스트림 분할 성능을 향상시킨다.

ABSTRACT

It has been widely recognized that the success of deep learning in image segmentation relies overwhelmingly on a myriad amount of densely annotated training data, which, however, are difficult to obtain due to the tremendous labor and expertise required, particularly for annotating 3D medical images. Although self-supervised learning (SSL) has shown great potential to address this issue, most SSL approaches focus only on image-level global consistency, but ignore the local consistency which plays a pivotal role in capturing structural information for dense prediction tasks such as segmentation. In this paper, we propose a PriorGuided Local (PGL) self-supervised model that learns the region-wise local consistency in the latent feature space. Specifically, we use the spatial transformations, which produce different augmented views of the same image, as a prior to deduce the location relation between two views, which is then used to align the feature maps of the same local region but being extracted on two views. Next, we construct a local consistency loss to minimize the voxel-wise discrepancy between the aligned feature maps. Thus, our PGL model learns the distinctive representations of local regions, and hence is able to retain structural information. This ability is conducive to downstream segmentation tasks. We conducted an extensive evaluation on four public computerized tomography (CT) datasets that cover 11 kinds of major human organs and two tumors. The results indicate that using pre-trained PGL model to initialize a downstream network leads to a substantial performance improvement over both random initialization and the initialization with global consistency-based models. Code and pre-trained weights will be made available at: https://git.io/PGL.

연구 동기 및 목표

• 주석이 밀집된 데이터를 의존하는 것을 줄여 3D 의료 영상 분할의 주석 효율성을 높인다.
• 전역 특성 일관성뿐만 아니라 지역적이고 영역별 구조 정보를 포착하는 자기지도 접근법을 개발한다.
• 지역 특징을 서로 다른 증강 뷰 간에 정렬하기 위해 공간 변환 프리드를 활용한다.
• 다양한 장기와 종양에 걸친 공공 CT 데이터 세트에서 PGL을 평가하여 전이 가능성과 견고함을 확인한다.

제안 방법

• 데이터 증강 모듈을 사용하여 각 3D 영상의 두 개의 증강 뷰를 생성한다.
• 온라인/타깃 네트워크를 포함하는 사전 가이드 이중 경로 아키텍처를 도입하여 지역 특징 정렬을 학습한다.
• 전통적인 글로벌 프로젝터를 지역 구조 인식 프로젝터와 사전 가이드 정렬기로 대체한다.
• 3D 공간에서 RoIAlign을 통해 대응하는 로컬 영역의 특징을 정렬하기 위해 Cropping/Scaling 및 Flipping 프리드를 도입한다.
• 온라인 경로에 예측기를 두고 두 뷰에서 정렬된 로컬 특징 간의 voxel 단위 차이를 최소화하는 로컬 일관성 손실을 정의한다.
• BYOL 스타일의 안정적인 타깃 신호를 제공하기 위해 지수 가감 평균으로 타깃 네트워크 가중치를 업데이트한다.

실험 결과

연구 질문

• RQ1 로컬, 사전 가이드 자기지도 학습이 3D 의료 영상 분할에 이로운 영역 수준의 구조 정보를 포착할 수 있는가?
• RQ2 공간 변환 프리드(크롭/스케일링 및 플리핑)가 글로벌 SSL 접근법에 비해 로컬 표현의 품질을 향상시키는가?
• RQ3 제한된 주석이 있는 다양한 CT 데이터셋에서 PGL 사전 학습이 다운스트림 분할 성능에 어떤 영향을 미치는가?

주요 결과

• PGL 사전 학습은 네 가지 CT 데이터 세트(Liver, Spleen, KiTS, BCV)에서 무작위 초기화에 비해 다운스트림 분할 성능을 일관되게 향상시킨다.
• 무작위 초기화 대비 PGL의 평균 Dice 증가: Liver +2.08, Spleen +2.37, KiTS +2.72, BCV +2.20.
• PGL은 Models Genesis 및 BYOL보다 더 나은 사전 학습 전략이며, 글로벌 SSL 기준선으로 BYOL이 가장 강하고 PGL이 평균 Dice 증가에서 더 높은 값을 달성한다(예: 평균적으로 BYOL보다 +1.23%).
• Cropping/Scaling 및 Flipping 프리의 공동 사용이 최고의 분할 성능을 제공하며, 하나의 프리나 두 프리를 제거하면 저하가 나타나는 것으로 확인된다.
• 이 방법은 주석이 제한된 상황에 대해 견고함을 보이며, 다운스트림 라벨 데이터가 드문 경우 더 큰 이득을 제공한다.