[논문 리뷰] Conditional Random Fields as Recurrent Neural Networks for 3D Medical Imaging Segmentation

Miguel Monteiro, Mário A. T. Figueiredo외 1명|arXiv (Cornell University)|2018. 07. 19.

Advanced Neural Network Applications참고 문헌 4인용 수 16

한 줄 요약

이 논문은 3D 다중 모odal 의료 영상 분할을 위한 조건부 랜덤 필드를 순환 신경망(CRF-RNN)으로 적용하는 것을 평가하며, 임의의 차원과 채널 수에 대해 이론적으로 적용 가능하도록 구현한다. 2D RGB 이미지에서 정확한 구현이 확인되었음에도 불구하고, 두 개의 3D 의료 데이터셋에서 기준 FCNN 대비 통계적으로 유의미한 향상이 없었으며, 이는 의료 영상에서의 낮은 대비도 및 흐린 경계, 높은 하이퍼파rameter 민감도 때문으로 분석된다.

ABSTRACT

The Conditional Random Field as a Recurrent Neural Network layer is a recently proposed algorithm meant to be placed on top of an existing Fully-Convolutional Neural Network to improve the quality of semantic segmentation. In this paper, we test whether this algorithm, which was shown to improve semantic segmentation for 2D RGB images, is able to improve segmentation quality for 3D multi-modal medical images. We developed an implementation of the algorithm which works for any number of spatial dimensions, input/output image channels, and reference image channels. As far as we know this is the first publicly available implementation of this sort. We tested the algorithm with two distinct 3D medical imaging datasets, we concluded that the performance differences observed were not statistically significant. Finally, in the discussion section of the paper, we go into the reasons as to why this technique transfers poorly from natural images to medical images.

연구 동기 및 목표

• CRF-RNN가 2D 자연 이미지 분할에서 효과적임을 고려할 때, 3D 의료 영상 분할에 있어 성능 향상이 이루어지는지 평가하는 것.
• 임의의 공간 차원과 이미지 채널 수를 고려한, 공개 가능한 첫 번째 일반 목적의 CRF-RNN 구현체를 개발하고 배포하는 것.
• CRF-RNN가 2D RGB 이미지에서 잘 작동함에도 불구하고 3D 다중 모달 의료 영상으로의 전이가 잘 되지 않는 이유를 탐구하는 것.
• CRF-RNN가 두 가지 다른 3D 의료 영상 데이터셋인 PROMISE 2012(근골반 MRI)와 BraTS 2015(뇌종양 MRI)에 미치는 영향을 평가하는 것.

제안 방법

• 원래 2D 이미지 전용으로 설계된 CRF-RNN 프레임워크를 3D 의료 영상에 적합한, 기울기 기반으로 미분 가능한 엔드 투 엔드 학습이 가능한 RNN 레이어로 변형하는 것.
• 공간적 및 강도 기반 특징을 포함한 단일 연결 CRF를 사용하여 단일 및 이차 잠재변수를 구현하며, 외관 및 부드러움 커널을 활용하는 것.
• 백본 네트워크로 V-Net 기반 FCNN를 사용하고, CRF-RNN을 후처리 보정 레이어로 적용하는 것.
• 전체 시스템을 엔드 투 엔드로 학습시키며, 평균장 근사법을 RNN 형태로 재구성하여 CRF-RNN 레이어를 통해 역전파가 가능하도록 하는 것.
• 공간 위치와 영상 강도를 조합한 특징 벡터에 대해 가우시안 커널을 적용하고, 학습 가능한 가중치와 하이퍼파ram터를 사용하는 것.
• 3D 의료 데이터에 대한 테스트 이전에 2D RGB 이미지에서 구현 정확성을 확인하기 위해 검증을 수행하는 것.

실험 결과

연구 질문

• RQ1 CRF-RNN 레이어가 기준 FCNN 대비 3D 다중 모달 의료 영상 분할 정확도를 향상시키는가?
• RQ2 CRF-RNN 프레임워크가 임의의 공간 차원과 입력/출력 채널 수를 가진 3D 의료 영상에 효과적으로 일반화될 수 있는가?
• RQ3 2D 자연 이미지에서 잘 작동하는 CRF-RNN이 3D 의료 영상에서는 성능 향상이 이루어지지 않는 이유는 무엇인가?
• RQ4 낮은 대비도와 흐린 경계를 가진 의료 영상 환경에서 CRF-RNN 성능은 하이퍼파ram터 민감도에 얼마나 민감한가?
• RQ5 3D 의료 영상에서 노이즈가 많거나 굵은 FCNN 출력에서 CRF-RNN 레이어가 얼마나 잘 복구할 수 있는가?

주요 결과

• PROMISE 2012 데이터셋에서 CRF-RNN 레이어가 덜 유의미한 향상이 있었으며, 전반적인 종양의 Dice 스코어는 CRF 없이 0.735 ± 0.105, CRF 적용 후 0.738 ± 0.105로 나타났다.
• BraTS 2015 HGG 데이터셋에서 코어 종양의 Dice 스코어는 CRF 없이 0.488 ± 0.244, CRF 적용 후 0.482 ± 0.257로 나타나 유의미한 향상이 없었다.
• paired t-test 결과, 두 데이터셋 모두에서 CRF-RNN과 기준 FCNN 간 성능 차이가 통계적으로 유의미하지 않았다.
• 과적합 실험에서 CRF-RNN 레이어가 3D 의료 영상에서 노이즈를 효과적으로 감소시키며 정상적인 기능을 수행하는 것으로 확인되었다.
• 2D RGB 이미지에서와는 달리 3D 의료 영상에서는 시각적 특징을 동일하게 과적합시키는 데 어려움을 겪었으며, 이는 낮은 대비도 환경에서의 본질적 한계를 시사한다.
• 저자들은 성능 저하의 원인을 3D 의료 영상에서의 낮은 대비도, 흐린 경계, 높은 하이퍼파ram터 민감도 때문으로 분석한다.