[논문 리뷰] Liver Steatosis Segmentation with Deep Learning Methods

Xiaoyuan Guo, Fusheng Wang외 3명|arXiv (Cornell University)|2019. 11. 16.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 9인용 수 6

한 줄 요약

이 논문은 전체 슬라이드 조직병리학 영상에서 겹치는 간 지방증 방울을 정확하게 분할하기 위한 마스크-RCNN 기반 딥러닝 프레임워크를 제안한다. 이전의 세포핵 분할 결과를 활용한 준자동화된 데이터 생성 파이프라인과 전이 학습을 활용함으로써, 이 방법은 75.87% 평균 정밀도, 60.66% 재현율, 65.88% F1 점수, 76.97% 재현지수를 달성하여, 간질환 진단 및 이식 평가에서 지방증 정량화에 있어 이전 방법들보다 크게 향상시켰다.

ABSTRACT

Liver steatosis is known as the abnormal accumulation of lipids within cells. An accurate quantification of steatosis area within the liver histopathological microscopy images plays an important role in liver disease diagnosis and trans-plantation assessment. Such a quantification analysis often requires a precise steatosis segmentation that is challenging due to abundant presence of highly overlapped steatosis droplets. In this paper, a deep learning model Mask-RCNN is used to segment the steatosis droplets in clumps. Extended from Faster R-CNN, Mask-RCNN can predict object masks in addition to bounding box detection. With transfer learning, the resulting model is able to segment overlapped steatosis regions at 75.87% by Average Precision, 60.66% by Recall,65.88% by F1-score, and 76.97% by Jaccard index, promising to support liver disease diagnosis and allograft rejection prediction in future clinical practice.

연구 동기 및 목표

• 흐린 경계와 덩어리짐 현상으로 인해 정량화가 어려운 간 조직병리학 영상에서 겹치는 지방증 방울의 정확한 분할에 도전하기 위해.
• 기존의 수동 시각적 검토 및 자동화된 이전 방법들보다 복잡하고 밀집된 지방증 영역을 더 잘 분할할 수 있는 딥러닝 기반 방법을 개발하기 위해.
• 이전의 세포핵 분할 방법을 응용하고 전문가 검증을 통해 결과를 정제함으로써 고품질이고 확장 가능한 지방증 분할 학습 데이터셋을 생성하기 위해.
• 간질환 진단 및 이식 반응 예측과 같은 임상 적용 분야에서 강력하고 자동화된 지방증 정량화를 가능하게 하기 위해.
• 지방증 개체 분할 맥락에서 다양한 ResNet 백본의 성능을 평가하고 최적의 아키텍처를 식별하기 위해.

제안 방법

• 마스크-RCNN, 즉 개체 분할 모델을 활용하여 전체 슬라이드 영상에서 개별 지방증 방울을 감지하고 픽셀 수준의 마스크를 예측함으로써 분할한다.
• 커스텀 지방증 데이터셋에 대해 사전 학습된 ImageNet ResNet 백본(ResNet41, ResNet50, ResNet65)을 사용한 전이 학습을 통해 일반화 능력과 정확도를 향상시킨다.
• 색채 조직병리학 영상을 Grayscale로 변환하고, 임계값 설정을 적용하며, 밀도 기반 필터링과 곡률 기반 점 투표를 통해 덩어리진 방울을 식별함으로써 초기 마스크를 생성하는 데이터 생성 파이프라인을 활용한다.
• 섹터 형태의 영역에서 타원형 피팅과 국소 강도 분석을 적용하여 분할 경계를 복원하고, 덩어리에서 개별 지방증 방울을 분리한다.
• 학습 데이터 다양성을 높이고 모델의 강인성을 향상시키기 위해 온라인 데이터 증강(임의의 애핀 변환, 반전, 가우시안 블러링)을 적용한다.
• 크기, 둘레, 타원도 기반 사용자 정의 임계값을 적용하여 후처리를 수행함으로써 분할 결과를 걸러내고 병리의사 기반 맞춤 설정을 지원한다.

실험 결과

연구 질문

• RQ1 기존 방법들이 흐린 경계와 덩어리짐 현상으로 실패하는 전체 슬라이드 조직병리학 영상에서, 딥러닝 모델이 겹치는 지방증 방울을 효과적으로 분할할 수 있는가?
• RQ2 다양한 ResNet 백본을 사용한 마스크-RCNN의 성능은 복잡하고 밀집된 지방증 영역 분할에서 어떻게 비교되는가?
• RQ3 이전 세포핵 분할 결과를 기반으로 한 준자동화된 데이터 생성 파이프라인은 학습 데이터 품질 향상과 애너테이션 부담 감소에 얼마나 기여하는가?
• RQ4 사전 학습된 모델에서 전이 학습을 통해 저자원 의료 영상 환경에서 지방증 분할 정확도가 크게 향상되는가?
• RQ5 형태학적 특성 기반 임계값(크기, 둘레, 타원도)을 활용한 후처리가 생물학적으로 불합리하거나 노이즈가 많은 분할 결과를 걸러내어 임상적 유용성을 향상시킬 수 있는가?

주요 결과

• ResNet50 백본을 사용한 마스크-RCNN 모델이 테스트 세트에서 가장 높은 성능을 보였으며, 평균 정밀도 75.87%, 재현율 60.66%, F1 점수 65.88%, 재현지수 76.97%를 기록했다.
• 제안된 방법은 이전의 세포핵 기반 분할 방법(Clump_seg)보다 모든 지표에서 뛰어나 23.69%포인트 높은 재현지수를 기록했다.
• ResNet50 기반 모델은 ResNet41 및 ResNet65 백본을 사용한 모델 대비 더 뛰어난 일반화 능력과 낮은 과소분할 오류를 보였다.
• 온라인 데이터 증강과 전이 학습의 사용이 다양한 조직병리학 영상 외관에 걸쳐 모델의 강인성과 일반화 능력을 크게 향상시켰다.
• 크기, 둔체, 타원도 기반 임계값을 활용한 후처리를 통해 병리의사가 생물학적으로 타당한 결과 기반으로 결과를 걸러내는 것이 가능해져 임상적 활용도가 향상되었다.
• 복잡한 기하학적 구조를 가진 매우 덩어리진 영역에서도 개별 방울을 성공적으로 분할하여 도전적인 공간 구성에서도 뛰어난 성능을 보였다.