[논문 리뷰] Star Shape Prior in Fully Convolutional Networks for Skin Lesion Segmentation

Zahra Mirikharaji, Ghassan Hamarneh|arXiv (Cornell University)|2018. 06. 21.

Cutaneous Melanoma Detection and Management참고 문헌 25인용 수 14

한 줄 요약

이 논문은 피부 병변 분할을 위한 완전 컨volution 신경망(FCNs)을 정규화하기 위해 새로운 별 모양 사전 손실 함수를 제안한다. 이는 비별 모양 예측에 대한 페널티를 주어 전역 병변 구조를 강제한다. 이 방법은 상태 기반 성능을 달성하여 ResNet-DUC 아키텍처를 사용해 ISBI 2017 피부 병변 분할 경연 대회에서 77.3%의 재현율 지수(Jaccard index)로 1등을 기록했다.

ABSTRACT

Semantic segmentation is an important preliminary step towards automatic medical image interpretation. Recently deep convolutional neural networks have become the first choice for the task of pixel-wise class prediction. While incorporating prior knowledge about the structure of target objects has proven effective in traditional energy-based segmentation approaches, there has not been a clear way for encoding prior knowledge into deep learning frameworks. In this work, we propose a new loss term that encodes the star shape prior into the loss function of an end-to-end trainable fully convolutional network (FCN) framework. We penalize non-star shape segments in FCN prediction maps to guarantee a global structure in segmentation results. Our experiments demonstrate the advantage of regularizing FCN parameters by the star shape prior and our results on the ISBI 2017 skin segmentation challenge data set achieve the first rank in the segmentation task among $21$ participating teams.

연구 동기 및 목표

• 피부 내시경 영상에서 높은 외관 변동성과 FCNs에서의 세밀한 구조 손실로 인해 발생하는 일관성 없고 비정상적인 병변 분할 문제를 해결하기 위해.
• 특히 별 모양 사전을 포함한 해부학적으로 타당한 형태 사전을 엔드 투 엔드 학습 가능한 FCNs의 손실 함수에 직접 통합하기 위해.
• 기존의 에너지 기반 방법과 달리 추론 시 반복 최적화 또는 사용자 정의 객체 중심이 필요 없도록 하기 위해.
• 예측된 병변 마스크의 전역 구조 일관성을 강제하여 분할의 강인성과 경계 정확도를 향상시키기 위해.
• 형태 사전가 깊이 학습 프레임워크에 효과적으로 통합될 수 있음을 보여주어 의료 영상 분할 작업의 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• FCN 예측 맵에서 별 모양 병변 형태에서의 이탈을 페널티 주는 새로운 미분 가능한 손실 항목을 도입한다.
• 각 전경 픽셀의 중심점에서의 각도적 이탈을 측정하여 별 모양 사전를 반경 일관성 지표를 사용해 표현한다.
• 이중 교차 엔트로피와 형태 정규화 항목을 조합한 손실 함수를 사용하며, 픽셀이 별 성질을 위반할수록 페널티가 증가한다.
• 사용자 입력이나 복잡한 최적화가 필요 없도록 병변의 중심점 기반 고정 중심 추정 전략을 사용한다.
• 이 프레임워크는 두 가지 최신 FCN 아키텍처인 U-Net과 ResNet-DUC에 적용되며, 후자는 확장 컨볼루션과 단일 DUC 레이어를 사용해 특징 업샘플링을 수행한다.
• 학습은 두 단계로 진행되며, 첫 번째 단계는 5 에포크 동안 이중 교차 엔트로피로 수행하고, 두 번째 단계는 Adam 옵timizer와 학습률 감소를 사용해 별 모양 정규화 손실로 미세 조정한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 FCN의 손실 함수에 효과적으로 통합될 수 있는 미분 가능한 별 모양 사전가 의료 영상 분할에 적합한가?
• RQ2 병변 형태가 별 모양임을 강제하면 피부 병변 영상에서 분할 정확도와 구조적 타당성이 향상되는가?
• RQ3 후처리, 다중 스케일 입력 또는 앙상블 평균화 없이도 제안된 방법이 최상의 성능을 달성할 수 있는가?
• RQ4 별 모양 사전가 다양한 병변 외형에서 분할 노이즈를 줄이고 경계 일관성을 향상시키는 데 효과적인가?
• RQ5 추론 시 사용자 정의 객체 중심 또는 반복 최적화가 필요 없이도 성능 향상 효과를 유지할 수 있는가?

주요 결과

• 제안된 별 모양 정규화 손실은 기준 FCN 대비 U-Net에서 재현율 지수를 3.3%p 향상시키고, ResNet-DUC에서는 3.3%p 향상시켰다.
• 별 모양 사전를 적용한 ResNet-DUC 모델은 재현율 지수 77.3%를 기록하여 ISBI 2017 피부 병변 분할 경연에서 21개 팀 중 1등을 차지했다.
• ResNet-DUC 아키텍처에서 DICE 스코어는 83.3%에서 85.7%로, 민감도는 80.0%에서 85.5%로 향상되었다.
• 통계적 유의성 검정(Wilcoxon signed rank sum test) 결과, 별 모양 사전를 적용한 성능 향상은 유의미하게 p < 0.05로 확인되었다.
• 정성적 결과로는 더 매끄럽고 단일 연결된 병변 마스크가 관찰되어 구조적 일관성이 향상된 것으로 나타났다.
• 높은 특이도(97.3%)와 정확도(93.8%)를 유지하면서도 강한 민감도를 확보하여 다양한 병변 유형에 걸쳐 강인함을 입증했다.