[논문 리뷰] Deep Convolutional Neural Networks with Spatial Regularization, Volume and Star-shape Priori for Image Segmentation

Jun Liu, Xiangyue Wang외 1명|arXiv (Cornell University)|2020. 02. 10.

Advanced Neural Network Applications참고 문헌 58인용 수 7

한 줄 요약

이 논문은 이미지 세분화를 위해 깊이 학습 기반의 딥 컨volution 신경망(DCNNs)에 공간 정규화, 부피 제약 조건, 별형 형태 사전 지식을 통합하는 새로운 소프트 임계값 동역학(STD) 프레임워크를 제안한다. 소프트맥스 함수를 변분 문제의 이중 변수로 해석함으로써, DCNN 출력이 고전적인 변분 모델의 고급 공간 사전 지식을 유전할 수 있게 되어, DeepLabV3+에 적용했을 때 ISIC2018과 같은 벤치마크에서 세분화 정확도와 강인성을 크게 향상시킨다.

ABSTRACT

We use Deep Convolutional Neural Networks (DCNNs) for image segmentation problems. DCNNs can well extract the features from natural images. However, the classification functions in the existing network architecture of CNNs are simple and lack capabilities to handle important spatial information in a way that have been done for many well-known traditional variational models. Prior such as spatial regularity, volume prior and object shapes cannot be well handled by existing DCNNs. We propose a novel Soft Threshold Dynamics (STD) framework which can easily integrate many spatial priors of the classical variational models into the DCNNs for image segmentation. The novelty of our method is to interpret the softmax activation function as a dual variable in a variational problem, and thus many spatial priors can be imposed in the dual space. From this viewpoint, we can build a STD based framework which can enable the outputs of DCNNs to have many special priors such as spatial regularity, volume constraints and star-shape priori. The proposed method is a general mathematical framework and it can be applied to any semantic segmentation DCNNs. To show the efficiency and accuracy of our method, we applied it to the popular DeepLabV3+ image segmentation network, and the experiments results show that our method can work efficiently on data-driven image segmentation DCNNs.

연구 동기 및 목표

• 기존 DCNNs가 정규화, 부피 제약 조건, 형태 정보와 같은 공간 사전 지식을 다루는 데에 한계가 있음을 해결하기 위해.
• 데이터 기반의 딥 러닝과 물리 기반의 변분 모델 간 격차를 해소하기 위해 고전적 사전 지식을 깊이 신경망에 통합하기 위해.
• 기본 DCNN 아키텍처를 수정하지 않고도 일반화 가능한 프레임워크를 개발하기 위해.
• 세분화 과정에서 공간 일관성, 부피 보존성, 형태 일관성을 유지할 수 있도록 하기 위해.

제안 방법

• 제안된 STD 프레임워크는 소프트맥스 활성화 함수를 변분 최적화 문제의 이중 변수로 재해석함으로써, 이중 공간에서 공간 사전 지식을 통합할 수 있도록 한다.
• 세분화 문제를 데이터 적합성, 정규화, 사전 지식 항목을 포함하는 기능의 최소화 문제로 공식화하며, 사전 지식은 임계값 동역학을 통해 강제로 적용한다.
• 최적화의 안정성을 높이고 빠른 반복적 방법을 통해 효율적인 계산을 가능하게 하기 위해 엔트로픽 정규화를 도입한다.
• 부피 제약 조건은 각 세분화 영역의 총 면적을 반복 과정에서 유지하는 라그랑주 승수를 통해 구현한다.
• 기하학적 제약 조건을 사용하여 중심점에 대해 별형으로 세분화되도록 하여 별형 사전 지식을 통합한다.
• 이 프레임워크는 DeepLabV3+와 같은 어떤 의미 세분화 DCNN과도 호환되며, 전방 및 후방 전파 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 정규화, 부피 제약 조건, 형태 사전 지식과 같은 공간 사전 지식을 딥 러닝 기반 세분화 네트워크에 효과적으로 통합할 수 있는가?
• RQ2 DCNNs의 소프트맥스 함수를 어떻게 재해석하여 이중 공간에서 변분 사전 지식을 허용할 수 있는가?
• RQ3 제안된 STD 프레임워크는 실제 데이터셋에서 표준 DCNNs에 비해 세분화 정확도와 강인성을 향상시키는가?
• RQ4 아키텍처 수정 없이 다양한 DCNN 아키텍처에 일반화 가능한가?

주요 결과

• 제안된 STD 프레임워크는 DCNNs에 공간 정규화, 부피 보존성, 별형 사전 지식을 성공적으로 통합하여 ISIC2018 검증 세트에서 세분화 품질을 크게 향상시켰다.
• DeepLabV3+에 적용했을 때 경계 부착성 향상과 노이즈 감소가 두드러지게 나타났으며, 특히 복잡한 피부 병변 세분화에서 유의미했다.
• 사전 지식 통합으로 인해 저대비 또는 비정상적인 형태를 가진 경우에도 더 일관되고 해부학적으로 타당한 세분화 결과를 도출하였다.
• 임계값 동역학의 사용으로 인해 높은 계산 효율성을 유지하였으며, 이는 무조건적 안정성과 빠른 수렴을 보장한다.
• 정량적 결과로 기준 DCNNs 대비 더 높은 Dice 스코어와 감소된 하우스도르프 거리가 관찰되었으며, 특히 작은 객체 크기와 같은 도전적인 조건에서 뚜렷하게 향상되었다.