[논문 리뷰] Towards accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in 3D

Ciaran Bench, Andreas Hauptmann외 1명|arXiv (Cornell University)|2020. 05. 03.

Photoacoustic and Ultrasonic Imaging참고 문헌 50인용 수 6

한 줄 요약

이 논문은 실제 조직 모델의 다중 파장 3D 광음향 영상에서 직접 혈관 산소 포화도(sO2)를 추정하기 위해 3D 완전 컨volution 신경망(FCN)을 제안한다. 노이즈와 제한된 시야 아티팩트를 포함한 시뮬레이션 데이터로 훈련된 네트워크는 40개의 테스트 케이스에서 평균 절대 오차 4.4%를 기록하여 강건성과 실제 생체 내 정량 광음향 영상의 잠재적 정확성에 기여한다.

ABSTRACT

Significance: 2D fully convolutional neural networks have been shown capable of producing maps of sO$_2$ from 2D simulated images of simple tissue models. However, their potential to produce accurate estimates in vivo is uncertain as they are limited by the 2D nature of the training data when the problem is inherently 3D, and they have not been tested with realistic images. Aim: To demonstrate the capability of deep neural networks to process whole 3D images and output 3D maps of vascular sO$_2$ from realistic tissue models/images. Approach: Two separate fully convolutional neural networks were trained to produce 3D maps of vascular blood oxygen saturation and vessel positions from multiwavelength simulated images of tissue models. Results: The mean of the absolute difference between the true mean vessel sO$_2$ and the network output for 40 examples was 4.4% and the standard deviation was 4.5%. Conclusions: 3D fully convolutional networks were shown capable of producing accurate sO$_2$ maps using the full extent of spatial information contained within 3D images generated under conditions mimicking real imaging scenarios. This work demonstrates that networks can cope with some of the confounding effects present in real images such as limited-view artefacts, and have the potential to produce accurate estimates in vivo.

연구 동기 및 목표

• 실제 3D 광음향 영상에서 혈관 산소 포화도(sO2)의 3D 지도를 추정할 수 있는 딥 러닝 기반 접근법을 개발하기 위해.
• 훈련 및 추론 모두에서 전체 3D 공간 정보를 활용하여 2D 네트워크의 한계를 극복하기 위해.
• 노이즈와 제한된 시야 아티팩트를 포함한 실제 영상 조건에서의 성능을 평가하기 위해.
• 광선 조도 분포의 사전 지식이 필요 없이 딥 러닝이 복잡하고 이질적인 조직 모델에서 sO2를 정확하게 복원할 수 있는지 입증하기 위해.
• 종양 산소 포화도 모니터링과 같은 임상 적용 분야에서 정확하고 정량적인 광음향 영상의 기초를 마련하기 위해.

제안 방법

• 다중 파장 3D 광음향 영상에서 3D sO2 지도와 혈관 위치를 예측하기 위해 두 개의 별도한 3D 완전 컨볼루션 신경망을 훈련시켰다.
• 피부층과 혈액의 실제 광학적 성질을 사용하여 다중 파장에서 몬테카를로 시뮬레이션(MCXLAB)을 통해 3D 광음향 데이터를 시뮬레이션했다.
• 각 시간 시리즈의 최대 진폭을 기반으로 한 신호 대 잡음비(SNR) 모델을 사용하여 시뮬레이션 압력 신호에 노이즈를 추가했다.
• 노이즈가 포함된 압력 데이터로부터 3D PA 영상을 생성하기 위해 k-Wave 시간 반전 알고리즘을 사용하여 영상 재구성했다.
• 해부학적 복잡성에 걸쳐 일반화할 수 있도록 다양한 조직 및 혈관 구성이 포함된 2000개의 시뮬레이션 데이터셋으로 네트워크를 훈련시켰다.
• 성능 평가를 위해 40개의 독립적인 테스트 예제에서 혈관 내 진짜 평균 sO2와 예측된 sO2 값 간의 평균 절대 차이를 사용했다.

실험 결과

연구 질문

• RQ1 3D 완전 컨볼루션 네트워크는 실제 3D 광음향 영상에서 산소 포화도(sO2)를 정확하게 추정할 수 있는가?
• RQ2 3D 데이터로 훈련된 네트워크가 노이즈와 제한된 시야 아티팩트와 같은 실제 영상의 혼란 인자들이 포함된 영상에서 어떻게 성능을 보이는가?
• RQ3 딥 러닝이 빛의 조도 분포를 명시적으로 모델링할 필요 없이 sO2를 어느 정도 정확하게 복원할 수 있는가?
• RQ4 3D 아키텍처는 공간 정확성을 유지하고 추정 오차를 줄이는 데 2D 접근법보다 뛰어난가?
• RQ5 실제 시뮬레이션 환경에서 다양한 혈관 기하학적 형태와 조직 광학적 성질에 대해 네트워크가 일반화할 수 있는가?

주요 결과

• 3D 완전 컨볼루션 네트워크는 40개의 테스트 예제에서 예측된 평균 혈관 sO2와 진짜 평균 sO2 간 평균 절대 오차 4.4%를 기록했다.
• 40개의 예제에 걸친 오차 표준편차는 4.5%였으며, 이는 다양한 조직 구성에서 일관된 성능을 보임을 시사한다.
• 실제 영상 시나리오에서 발생하는 노이즈와 제한된 시야 아티팩트에 대해 네트워크가 강건성을 보였으며, 이는 실제 생체 적용 가능성에 기여한다.
• 네트워크 아키텍처에서 3D 공간적 맥락을 활용함으로써 복잡한 혈관 영역에서 2D 접근법 대비 추정 정확도가 크게 향상되었다.
• 조직의 광학적 조도에 대한 사전 지식이 필요 없이도 원시 영상 데이터에서 엔드 투 엔드 학습을 통해 sO2를 성공적으로 복원했다.
• 결과적으로 딥 러닝을 활용하여 임상적으로 관련성이 있는 3D 조직 환경에서 sO2의 정량 광음향 영상 구현 가능성을 입증했다.