[논문 리뷰] Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields

Leixin Zhou, Zisha Zhong외 4명|arXiv (Cornell University)|2019. 06. 11.

Advanced Neural Network Applications참고 문헌 30인용 수 6

한 줄 요약

이 논문은 의료 영상에서 직접 3D 표면 분할을 가능하게 하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이 프레임워크는 3D 컨volution 신경망(CNNs)과 조건부 랜덤 필드(CRFs)를 결합하며, 형태 인식 패치 생성과 CNN 내부에 통합된 CRF 단항 및 이원자 잠재변수를 통해 표면의 위상 일致성을 확보한다. 이로 인해 후처리 없이도 전립선 및 비장 분할 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automated surface segmentation is important and challenging in many medical image analysis applications. Recent deep learning based methods have been developed for various object segmentation tasks. Most of them are a classification based approach (e.g., U-net), which predicts the probability of being target object or background for each voxel. One problem of those methods is lacking of topology guarantee for segmented objects, and usually post processing is needed to infer the boundary surface of the object. In this paper, a novel model based on 3-D convolutional neural networks (CNNs) and Conditional Random Fields (CRFs) is proposed to tackle the surface segmentation problem with end-to-end training. To the best of our knowledge, this is the first study to apply a 3-D neural network with a CRFs model for direct surface segmentation. Experiments carried out on NCI-ISBI 2013 MR prostate dataset and Medical Segmentation Decathlon Spleen dataset demonstrated promising segmentation results.

연구 동기 및 목표

• 분류 기반 딥 러닝 방법의 한계를 해결하기 위해, 객체 경계를 추출하기 위해 후처리가 필요로 하는 의료 영상 분할 기법의 문제점을 해결한다.
• 바이트별 분류가 아닌 표면 위치를 회귀 출력으로 모델링하여 직접 3D 표면 분할을 가능하게 한다.
• 지역적 신뢰도와 공간적 매끄러움을 동시에 최적화하기 위해 3D CNN에 CRF 잠재변수를 통합하여 위상적으로 타당한 표면을 보장한다.
• 패치 생성 및 파rameter 효율성과 같은 과제를 해결하기 위해 3D 네트워크의 표면 분할 학습 과제를 극복한다.
• 정확한 위상성을 가진 사전 분할 결과를 표면 예측의 기반으로 삼아 위상 정합성을 확보한다.

제안 방법

• 사전 분할 단계에서 정확한 위상을 가진 거친 표면을 삼각형 메쉬로 생성한다.
• 삼각형 메쉬를 정규 3D 컨볼루션 연산을 가능하게 하기 위해 사각형 메쉬로 변환한다.
• 형식적 매핑 기반의 새로운 형태 인식 패치 생성 방법을 통해 표면 주변에 구조화된 이웃 영역을 가진 영상 패치를 생성한다.
• 3D CNN이 패치 내 각 컬럼에 대해 표면 위치를 회귀하여 CRF 단항 잠재변수를 직접 모델링한다.
• 이웃하는 표면 점 간의 매끄러움과 일致성을 강제하기 위해 맞춤형 호환성 행렬을 통해 CRF 이원자 잠재변수를 통합한다.
• 표면 위치 예측에 대해 다중 클래스 교차 엔트로피(MCE) 손실 함수를 사용하여 전체 CNN+CRF 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 3D CNN-CRF 프레임워크는 후처리 없이도 위상 정합성을 유지하면서 직접적인 엔드 투 엔드 표면 분할을 가능하게 할 수 있는가?
• RQ2 형식적 매핑을 통한 형태 인식 패치 생성은 효율적이고 정확한 3D 표면 학습을 위해 얼마나 효과적인가?
• RQ3 기존의 분류 기반 접근 방식과 비교했을 때, 3D CNN에 CRF 잠재변수를 통합함으로써 표면의 매끄러움과 분할 정확도는 어느 정도 향상되는가?
• RQ4 사전 분할의 정확도가 떨어지더라도 위상성만 유지된다면 이 방법은 얼마나 강인한가?
• RQ5 최소한의 아키텍처 수정으로 복잡한 해부학적 구조, 예를 들어 기도나 신경 경로와 같은 구조로의 일반화가 가능한가?

주요 결과

• 제안된 방법은 NCI-ISBI 2013 MR 전립선 데이터셋과 Medical Segmentation Decathlon 비장 데이터셋에서 최신 기술 수준의 표면 분할 성능을 달성한다.
• 워터셰드나 형태학적 연산과 같은 후처리 단계 없이도 위상적으로 일관된 표면을 생성한다.
• 사전 분할의 정확도에 대한 민감도가 낮아, 초기 표면의 경량 기하 오차에 대해서도 강인함을 입증한다.
• 형식적 매핑 기반 패치 생성을 통해 구조화되고 겹치지 않으며 위상을 유지하는 패치를 보장함으로써 3D 표면 회귀 네트워크의 효율적 학습을 가능하게 한다.
• CNN 프레임워크에 CRF 잠재변수를 통합함으로써 복잡한 기하학적 영역에서 표면의 매끄러움과 경계 정확도가 향상된다.
• 비트별 분류에 의존하지 않음에도 불구하고, 표면 정확도 측면에서 표준 U-Net 및 V-Net 베이스라인을 능가한다.