[논문 리뷰] An End-to-end Approach to Semantic Segmentation with 3D CNN and Posterior-CRF in Medical Images

Shuai Chen, Marleen de Bruijne|arXiv (Cornell University)|2018. 11. 08.

AI in cancer detection참고 문헌 7인용 수 8

한 줄 요약

이 논문은 3D U-Net과 3D 완전 연결 조건付き 랜덤 필드(CRF)를 통합한 엔드 투 엔드 딥 러닝 프레임워크인 Posterior-CRF를 제안한다. 원시 강도 값 대신 컨volutional 네트워크의 사후 확률 맵을 사용하여 CNN과 CRF 파라미터를 함께 최적화함으로써, 백색질 고강도 병변 분할에서 최신 기술 수준의 성능을 달성한다. 이는 표준 U-Net 및 이전의 엔드 투 엔드 CRF 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Fully-connected Conditional Random Field (CRF) is often used as post-processing to refine voxel classification results by encouraging spatial coherence. In this paper, we propose a new end-to-end training method called Posterior-CRF. In contrast with previous approaches which use the original image intensity in the CRF, our approach applies 3D, fully connected CRF to the posterior probabilities from a CNN and optimizes both CNN and CRF together. The experiments on white matter hyperintensities segmentation demonstrate that our method outperforms CNN, post-processing CRF and different end-to-end training CRF approaches.

연구 동기 및 목표

• 노이즈가 많은 의료 영상에서 강도 기반 CRF 후처리의 불안정성과 민감성 문제를 해결하기 위해.
• 원시 강도 특징에 의존하고 CRF 파라미터 수동 조정이 필요한 기존 엔드 투 엔드 CRF 방법의 한계를 극복하기 위해.
• 훈련된 CNN의 고품질 특징 맵을 CRF 추론에 활용하여 공간 일관성과 분할 정확도를 향상시키기 위해.
• 통합 훈련 파이프라인을 통해 CNN과 CRF 파라미터를 함께 최적화할 수 있도록 하기 위해.
• FLAIR MRI 스캔에서 백색질 고강도 병변 분할에서 뛰어난 성능을 입증하기 위해.

제안 방법

• Posterior-CRF는 3D U-Net의 최종 레이어에서 유도된 사후 확률 맵을 CRF의 강도 기반 특징 대체한다.
• 이 방법은 단일 퍼블릭 CRF를 사용하며, 단일 잠재변수의 잠재적 에너지가 CNN 출력 확률에서 유도되고, 쌍별 잠재변수의 잠재적 에너지는 공간적 거리와 특징 거리에 기반한다.
• CRF 파라미터(예: θα, θβ, θγ, ω)는 CNN과 함께 엔드 투 엔드 훈련 중에 함께 최적화된다.
• 쌍별 잠재변수 에너지는 공간 유사성 커널과 특징 유사성 커널을 조합하며, 여기서 특징은 이제 CNN의 예측 클래스 확률이다.
• 보편적 평균장 추론을 사후 확률 맵에 적용하여 볼륨 단위 예측을 정교화하면서 공간 일관성을 강제한다.
• 프레임워크는 분류 교차 엔트로피 손실을 사용하여 훈련되며, CNN과 CRF 구성 요소를 모두 거쳐 역전파를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 CRF에 원시 강도 특징 대신 학습된 사후 확률 맵을 사용하면 의료 영상에서 분할의 안정성과 정확도가 향상되는가?
• RQ2 CNN과 CRF 파라미터를 함께 최적화하는 엔드 투 엔드 훈련 방식이 후처리 CRF나 강도 기반 CRF 훈련보다 더 나은 성능을 내는가?
• RQ3 3D U-Net에서 유도된 고수준 특징 맵을 사용하면 노이즈가 많은 의료 영상에서 CRF 추론의 안정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 CNN과 함께 파라미터를 함께 학습함으로써 CRF 하이퍼파rameter 수동 조정이 필요 없어지는가?
• RQ5 Dice 스코어, 하우스도르프 거리, 가짜 양성/음성 비율 측면에서 Posterior-CRF는 베이스라인 U-Net 및 기타 CRF 기반 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• Posterior-CRF는 WMH 2017 데이터셋에서 0.747 ± 0.064의 Dice 유사도 계수(DSC)를 기록하여, 기준 U-Net(0.683 ± 0.068)과 다른 CRF 방법보다 유의미하게 뛰어난 성능을 보였다.
• 이 방법은 21.80% ± 5.92의 평균 볼륨 차이(AVD)를 기록하여 다른 접근 방식보다 뛰어난 체적 정확도를 보였다.
• 가짜 양성 결과(FP) 수를 3387 ± 507.41로 줄여, U-Net과 Post-CRF 후처리 방식보다 과분할 제어 능력이 뛰어났다.
• 5.513 mm ± 2.818의 합리적인 하우스도르프 거리(H95)를 유지하여 Spatial-CRF를 능가했으며, 다양한 지표에서 균형 잡힌 성능을 보였다.
• 시각적 비교를 통해 Posterior-CRF는 가장 정확하고 시각적으로 일관성 있는 분할 결과를 도출했으며, 가짜 양성 결과가 적고 병변의 구조 보존 능력이 뛰어났다.
• 엔드 투 엔드 훈련 중에 모든 CRF 파라미터를 함께 학습함으로써 수동 CRF 하이퍼파라미터 조정이 필요 없어졌다.