[논문 리뷰] Joint Segmentation and Uncertainty Visualization of Retinal Layers in Optical Coherence Tomography Images using Bayesian Deep Learning

Suman Sedai, Bhavna Antony외 2명|arXiv (Cornell University)|2018. 09. 12.

Retinal Imaging and Analysis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 OCT 영상에서 공동으로 망막층 분할과 픽셀 단위의 불확실성 측정을 위한 베이지안 완전 컨volution 신경망(BFC-DN)을 제안한다. 드롭아웃 베이지안 추론을 통해 지식 기반 불확실성(epistemic uncertainty)과 고유 불확실성(aleatoric uncertainty)을 통합하고, 클래스 가중 베이지안 손실 함수를 적용함으로써, 최신 기술 수준의 분할 정확도를 달성하면서도 노이즈에 대한 강건성 또한 향상시켰으며, 불확실성 맵은 신뢰할 수 없는 분할 영역을 효과적으로 강조한다.

ABSTRACT

Optical coherence tomography (OCT) is commonly used to analyze retinal layers for assessment of ocular diseases. In this paper, we propose a method for retinal layer segmentation and quantification of uncertainty based on Bayesian deep learning. Our method not only performs end-to-end segmentation of retinal layers, but also gives the pixel wise uncertainty measure of the segmentation output. The generated uncertainty map can be used to identify erroneously segmented image regions which is useful in downstream analysis. We have validated our method on a dataset of 1487 images obtained from 15 subjects (OCT volumes) and compared it against the state-of-the-art segmentation algorithms that does not take uncertainty into account. The proposed uncertainty based segmentation method results in comparable or improved performance, and most importantly is more robust against noise.

연구 동기 및 목표

• 딥러닝 기반 망막층 분할에서 불확실성 측정의 부재로 인해 모델이 검증되지 않은 출력을 내보내는 블랙박스 성향을 해결하고자 한다.
• 학습 데이터와 다를 수 있는 테스트 데이터 또는 노이즈가 있는 상황에서 분할 모델의 강건성을 향상시키고자 한다.
• 하위 임상 결정이나 주도 학습을 위해 저신뢰 영역을 식별할 수 있도록 픽셀 단위의 불확실성 맵을 제공하는 방법을 개발하고자 한다.
• 분할 정확도를 훼손시키지 않으면서도 완전 컨volution 아키텍처에 불확실성 추정을 통합하고자 한다.
• 불확실성 맵이 분할 오류와 관련이 있으며, 수동 검토나 재평가가 필요한 영역을 식별하는 데 사용될 수 있음을 검증하고자 한다.

제안 방법

• 엔드 투 엔드 망막층 분할을 위해 밀도 블록과 스케일 연결을 갖춘 완전 컨볼루션 Densenet(FC-DN) 아키텍처를 적응한다.
• 다중 순방향 전파를 수행함으로써 추론 중 지식 기반 불확실성(epistemic uncertainty)을 드롭아웃 베이지안 추론을 통해 추정한다.
• 분할 로짓과 함께 출력 분산을 예측함으로써 고유 불확실성(aleatoric uncertainty)을 모델링하여 이미지 내부 노이즈에 대한 불확실성 추정을 가능하게 한다.
• 예측 불확실성과 클래스 불균형을 모두 반영한 클래스 가중 베이지안 손실 함수를 사용하여 학습한다.
• 추론 중 불확실성 추정을 校정하기 위해 온도 스케일링 기법(T)을 적용하며, T > 1일 경우 더 나은 불확실성 校정 성능을 달성한다.
• 드롭아웃을 활성화한 다중 순방향 전파를 통해 불확실성 맵을 생성하며, 높은 분산은 낮은 신뢰도를 의미한다.

실험 결과

연구 질문

• RQ1 베이지안 딥러닝을 통해 불확실성 추정을 제공함으로써 OCT 영상에서 망막층 분할의 신뢰성을 향상시킬 수 있는가?
• RQ2 지식 기반 불확실성과 고유 불확실성을 모두 포함함으로써 모델의 노이즈 및 분포 이탈에 대한 강건성이 향상되는가?
• RQ3 불확실성 맵이 노이즈가 많거나 분포가 이탈된 영상에서 정확도가 떨어지는 영역을 효과적으로 강조하는가?
• RQ4 비베이지안 최신 기술 수준의 분할 모델과 비교할 때, 제안된 방법의 딱지 계수와 경계 정확도는 어떠한가?
• RQ5 불확실성 측정이 망막 영상 분야에서 하위 임상 결정 또는 주도 학습 파이프라인을 향상시킬 수 있는가?

주요 결과

• 제안된 BFC-DN 방법은 GCL+IPL 층에서 딱지 계수 0.97, OPL 및 IS 층에서 0.91을 기록하여 비베이지안 기반 FC-DN 기준보다 뛰어난 성능을 달성했다.
• Lang 등 [12]의 최신 기술 수준 방법과 비교해 경계 오차가 평균 30% 감소했으며, IS-OS 경계에서 최저 오차 2.1 μm를 기록했다.
• 노이즈가 있는 테스트 조건에서 BFC-DN은 FC-DN보다 유의미하게 높은 분할 성능 유지를 보이며, 무작위 블록 노이즈에 대한 우수한 강건성을 입증했다.
• 모델이 생성한 불확실성 맵은 분할 오류와 강한 공간적 상관관계를 보였으며, 따뜻한(높은) 색상 영역은 높은 불확실성과 낮은 정확도를 나타냈다.
• BFC-DN의 평균 추론 시간은 1장당 2.5초(테슬라 K40 기준)였으며, 불확실성 추정을 위해 T=10회의 순방향 전파가 필요해 FC-DN(300 ms)보다 느렸다.
• 이 방법은 불확실성 측정이 임상 결정 지원 및 전문가 검증이 필요한 영역을 식별하는 데 활용될 수 있음을 입증했다.