[논문 리뷰] Pairwise Relation Learning for Semi-supervised Gland Segmentation

Yutong Xie, Jianpeng Zhang외 4명|arXiv (Cornell University)|2020. 08. 06.

AI in cancer detection참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비정규화된 데이터로부터 표현 학습을 향상시키기 위해 특성 공간 내 이미지 간 쌍별 관계를 활용하는 반감독형 딥러닝 프레임워크인 PRS²를 제안한다. 분할 네트워크(S-Net)와 쌍별 관계 네트워크(PR-Net) 간에 인코더를 공유함으로써 PRS²는 분할 정확도를 향상시키며, GlaS 및 CRAG 벤치마크에서 최신 기술 수준의 성능을 달성하면서 완전히 애너테이션된 학습 데이터에 대한 의존도를 감소시킨다.

ABSTRACT

Accurate and automated gland segmentation on histology tissue images is an essential but challenging task in the computer-aided diagnosis of adenocarcinoma. Despite their prevalence, deep learning models always require a myriad number of densely annotated training images, which are difficult to obtain due to extensive labor and associated expert costs related to histology image annotations. In this paper, we propose the pairwise relation-based semi-supervised (PRS^2) model for gland segmentation on histology images. This model consists of a segmentation network (S-Net) and a pairwise relation network (PR-Net). The S-Net is trained on labeled data for segmentation, and PR-Net is trained on both labeled and unlabeled data in an unsupervised way to enhance its image representation ability via exploiting the semantic consistency between each pair of images in the feature space. Since both networks share their encoders, the image representation ability learned by PR-Net can be transferred to S-Net to improve its segmentation performance. We also design the object-level Dice loss to address the issues caused by touching glands and combine it with other two loss functions for S-Net. We evaluated our model against five recent methods on the GlaS dataset and three recent methods on the CRAG dataset. Our results not only demonstrate the effectiveness of the proposed PR-Net and object-level Dice loss, but also indicate that our PRS^2 model achieves the state-of-the-art gland segmentation performance on both benchmarks.

연구 동기 및 목표

• 딥러닝 기반의 샘플 분할을 위한 제한된 픽셀 수준의 애너테이션된 조직학적 이미지 문제 해결.
• 반감독 학습을 통해 비정규화된 데이터를 활용하여 고비용 전문가 애너테이션에 대한 의존도를 줄이기.
• 접촉하거나 겹치는 샘플이 존재하는 상황에서도 분할의 강건성을 향상시키기.
• 특성 공간 내 이미지 쌍 간의 의미적 일관성을 활용하여 특징 표현을 향상시키기.
• 개별 샘플을 제약하는 다수준 손실 함수를 개발하여 경계 정확도를 향상시키기.

제안 방법

• 감독형 S-Net(분할 전용)과 비감독형 PR-Net(쌍별 관계 기반 표현 학습 전용)으로 구성된 이중 브랜치 모델 제안.
• 동일한 샘플 의미를 공유하는 이미지 쌍의 특성 임베딩 간 의미적 일관성을 강제하여, 레이블이 없는 데이터까지 포함해 PR-Net을 훈련.
• S-Net과 PR-Net 간에 인코더 가중치를 공유하여 PR-Net의 표현 지식을 S-Net으로 전이.
• 겹치거나 오버랩되는 샘플 문제를 해결하기 위해 개별 샘플에 제약을 가하는 객체 수준의 Dice 손실 도입.
• 객체 수준의 Dice 손실을 픽셀 수준의 교차 엔트로피 손실 및 전역 Dice 손실과 조합하여 S-Net용 다수준 손실 구성.
• 데이터 증강과 이미지 쌍 간의 특성 수준 정렬을 통한 일관성 정규화를 통해 강건성 향상.

실험 결과

연구 질문

• RQ1 특성 공간 내 이미지 쌍 간의 쌍별 의미 일관성이 애너테이션이 없는 환경에서 표현 학습을 향상시킬 수 있는가?
• RQ2 객체 수준의 Dice 손실을 통합함으로써 겹치거나 접촉하는 샘플의 분할 성능이 향상되는가?
• RQ3 비정규화된 데이터를 얼마나 활용하면 성능을 유지하면서 정규화된 학습 이미지의 수를 줄일 수 있는가?
• RQ4 제한된 감독 하에 제안된 PRS² 모델이 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 PR-Net가 학습한 표현이 인코더 공유를 통해 분할 네트워크 성능 향상에 일반화될 수 있는가?

주요 결과

• PRS²는 GlaS 데이터셋에서 객체-F 스코어 84.3, 객체-D 스코어 89.2를 기록하며 최근 5개의 방법보다 우수한 최신 기술 수준의 성능을 달성했다.
• CRAG 데이터셋에서 PRS²는 객체-F 스코어 82.1, 객체-D 스코어 87.1을 기록하며 최근 3개의 최신 기술 수준 모델을 초월했다.
• 레이블이 50%인 학습 데이터만으로도 PRS²는 GlaS 및 CRAG 양 데이터셋에서 100% 레이블이 있는 완전 감독 S-Net의 성능을 재현했다.
• 레이블이 20%인 데이터만으로도 PRS²는 50% 레이블 데이터로 훈련된 완전 감독 S-Net과 유사한 성능을 달성했다.
• 제거 실험을 통해 다수준 손실(객체 수준의 Dice 포함)이 개별 손실 구성 요소보다 분할 성능을 크게 향상시켰음을 확인했다.
• 비정규화된 데이터에서의 PR-Net 비감독 훈련이 특징 표현을 향상시켜, 공유 인코더를 통해 S-Net 성능 향상에 실질적인 기여를 했다.