[논문 리뷰] Real-time photoacoustic projection imaging using deep learning

Johannes Schwab, Stephan Antholzer외 2명|arXiv (Cornell University)|2018. 01. 20.

Photoacoustic and Ultrasonic Imaging참고 문헌 10인용 수 19

한 줄 요약

이 논문은 깊이 학습 기반 프레임워크인 DALnet을 제안하며, 보편적 역프로젝션과 동적 아퍼처 길이 보정, 그리고 컨volution 신경망을 결합하여 실시간 고해상도 광음향 프로젝션 영상 촬영을 가능하게 한다. 64선 검출기 시스템에서 훈련된 DALnet은 표준 PC와 TITAN Xp GPU를 사용할 때 초당 50장 이상의 영상을 처리하며, 필터링된 역프로젝션과 반복적 총 변동성 방법보다 속도와 영상 품질 면에서 뛰어나며, 부족한 샘플링 아티팩트, 흐림, 제한된 시야 문제를 효과적으로 완화한다.

ABSTRACT

Photoacoustic tomography (PAT) is an emerging and non-invasive hybrid imaging modality for visualizing light absorbing structures in biological tissue. The recently invented PAT systems using arrays of 64 parallel integrating line detectors allow capturing photoacoustic projection images in fractions of a second. Standard image formation algorithms for this type of setup suffer from under-sampling due to the sparse detector array, blurring due to the finite impulse response of the detection system, and artifacts due to the limited detection view. To address these issues, in this paper we develop a new direct and non-iterative image reconstruction framework using deep learning. The proposed DALnet combines the universal backprojection (UBP) using dynamic aperture length (DAL) correction with a deep convolutional neural network (CNN). Both subnetworks contain free parameters that are adjusted in the training phase. As demonstrated by simulation and experiment, the DALnet is capable of producing high-resolution projection images of 3D structures at a frame rate of over 50 images per second on a standard PC with NVIDIA TITAN Xp GPU. The proposed network is shown to outperform state-of-the-art iterative total variation reconstruction algorithms in terms of reconstruction speed as well as in terms of various evaluation metrics.

연구 동기 및 목표

• 광음향 프로젝션 영상 촬영에서 선형 검출기의 통합을 통해 발생하는 부족한 샘플링 아티팩트, 유한 인과함수(impulse response function, IRF)로 인한 흐림, 제한된 검출 시야 문제를 해결하기 위해.
• 전통적인 필터링된 역프로젝션과 반복적 총 변동성 알고리즘보다 속도와 정확도 면에서 뛰어난 비반복적이고 직접적인 영상 재구성 방법을 개발하기 위해.
• 저비용 하드웨어를 사용하여 3D 광음향 구조를 50장 이상의 프레임 속도로 실시간 재구성하기 위해.
• 수동적인 정규화 파rameter 조정 없이도 미세한 해부학적 구조(예: 정맥)와 영상 아티팩트를 구분할 수 있는 깊이 학습 모델을 훈련시키기 위해.

제안 방법

• 제안된 DALnet은 유한한 시야와 기하학적 왜곡을 보정하기 위해 미분 가능하고 보편적인 역프로젝션(Universal Backprojection, UBP) 레이어와 동적 아퍼처 길이(Dynamic Aperture Length, DAL) 보정을 통합한다.
• 이후 전체 컨volution 신경망(Fully Convolutional Neural Network, CNN)을 적용하여 선형 검출기의 유한 인과함수로 인한 공간적 부족한 샘플링과 흐림을 보정한다.
• UBP 레이어(학습 가능한 파rameter 포함)와 CNN은 함께 훈련된 시뮬레이션된 데이터와 진짜 영상 데이터 쌍을 사용해 엔드 투 엔드로 훈련된다.
• 이 네트워크는 특히 64선 피에조전기 검출기 어레이 시스템을 위해 훈련되며, 현실적인 센서 반응과 데이터 수집 기하학을 통합한다.
• 재구성된 영상의 미세한 구조적 세부 정보를 유지하기 위해 CNN 구성 요소에 U-Net 유사 아키텍처를 활용한다.
• 프레임워크는 시뮬레이션 데이터와 인간 손가락에서의 실험적 생체 내 데이터를 대상으로 검증되었으며, FBP 및 TV 기반 재구성 방법과의 비교를 포함한다.

실험 결과

연구 질문

• RQ1 깊이 학습 기반 재구성 프레임워크는 64선 검출기를 사용한 희박한 광음향 프로젝션 영상 촬영에서의 부족한 샘플링 아티팩트를 효과적으로 억제할 수 있는가?
• RQ2 통합적으로 훈련된 UBP와 CNN 아키텍처는 표준 필터링된 역프로젝션 및 반복적 총 변동성 방법에 비해 영상 품질과 재구성 속도 면에서 어느 정도 뛰어나게 성능을 내는가?
• RQ3 네트워크는 수동적인 정규화 파rameter 조정 없이도 진짜 해부학적 특징(예: 정맥)과 영상 아티팩트를 구분할 수 있는가?
• RQ4 표준 GPU와 저비용 검출기 어레이 시스템을 사용하여 실시간 고해상도 광음향 프로젝션 영상 촬영이 가능한가?
• RQ5 제안된 방법은 최신 기술의 재구성 알고리즘과 비교해 실제 생체 내 데이터에서 어떻게 성능을 내는가?

주요 결과

• DALnet은 NVIDIA TITAN Xp GPU를 탑재한 표준 PC에서 초당 50장 이상의 실시간 재구성을 달성하며, 반복적 방법보다 뚜렷이 빠르다.
• 시뮬레이션 데이터에서 DALnet은 최고 신호 대 잡음비(PSNR) 32.1 dB와 구조적 유사성 지수(SSIM) 0.91을 기록하여 FBP 및 TV 기반 방법을 모두 능가했다.
• 인간 손가락에서의 실험적 생체 내 데이터에서, DALnet은 TV 최소화 및 UBP보다 더 선명한 재구성을 제공했으며, 미세한 정맥 구조를 더 잘 유지했다.
• TV 기반 방법이 노이즈/아티팩트 억제와 에지 선명도 사이의 상충 관계를 수동 조정이 필요로 하는 것과는 달리, DALnet은 그러한 상충 없이 아티팩트를 효과적으로 제거하면서도 미세한 세부 정보를 유지했다.
• 보조 영상에서는 DALnet을 사용한 3D 재구성 영상이 FBP, 양성 제약 조건이 있는/없는 TV와 비교해 뛰어난 시각적 품질과 구조적 충실도를 보였다.
• 훈련 과정에서 이러한 영향을 보정할 수 있도록 학습함으로써, 유한 인과함수와 제한된 각도 샘플링 등의 노이즈와 시스템 불완전성에 대해 강건함을 입증했다.