[논문 리뷰] Deep-learning Image Reconstruction for Real-time Photoacoustic System

MinWoo Kim, Geng-Shi Jeng외 2명|arXiv (Cornell University)|2020. 01. 14.

Photoacoustic and Ultrasonic Imaging참고 문헌 44인용 수 4

한 줄 요약

이 논문은 실시간 광음향(PA) 영상 촬영을 위한 딥 컨volution 네트워크(CNN) 기반 영상 복원 방법을 제안한다. 2차원 원시 데이터를 공간 및 채널 차원을 포함하는 3차원 텐서로 변환하여 신호의 무결성을 유지한다. 합성 모세관 구조 데이터로 훈련된 U-Net 아키텍처는 전통적인 방법보다 대trast와 구조 보존 측면에서 뛰어난 성능을 보이며, 시뮬레이션, 펌프, 그리고 인간 손가락의 실시간 생체 내 영상에서 뛰어난 영상 품질을 달성한다.

ABSTRACT

Recent advances in photoacoustic (PA) imaging have enabled detailed images of microvascular structure and quantitative measurement of blood oxygenation or perfusion. Standard reconstruction methods for PA imaging are based on solving an inverse problem using appropriate signal and system models. For handheld scanners, however, the ill-posed conditions of limited detection view and bandwidth yield low image contrast and severe structure loss in most instances. In this paper, we propose a practical reconstruction method based on a deep convolutional neural network (CNN) to overcome those problems. It is designed for real-time clinical applications and trained by large-scale synthetic data mimicking typical microvessel networks. Experimental results using synthetic and real datasets confirm that the deep-learning approach provides superior reconstructions compared to conventional methods.

연구 동기 및 목표

• 제한된 탐지 시야와 좁은 대역폭으로 인해 발생하는 휴대용 광음향(PA) 시스템의 낮은 영상 품질 문제를 해결한다.
• 지연 및 합산(DAS), 최소 분산(MV) 등의 전통적 복원 방법이 저대비도 및 구조적 아티팩트를 야기하는 한계를 극복한다.
• 낮은 계산 오버헤드를 갖춘 딥 러닝 프레임워크를 설계하여 실시간 임상 적용을 가능하게 한다.
• 기존 방법에서 손실되는 약한 신호와 미세한 모세관 구조를 보존함으로써 영상 정밀도를 향상시킨다.
• 물리적 시스템 특성에 맞는 캘리브레이션 없이도 실제 임상 조건을 모의한 합성 PA 데이터로부터 학습하는 데이터 기반 접근법을 개발한다.

제안 방법

• 원시 PA 데이터(시간 대 검출기)의 2차원 데이터를 공간 × 공간 × 채널의 3차원 텐서로 변환하며, 각 채널은 공간 점에 대한 전파 지연 프로파일을 나타낸다.
• 다중 척도 신호 구조를 활용하여 학습 효율성을 향상시키기 위해 프레임릿 기반 사전 처리 단계를 적용한다.
• 스킵 연결을 통해 다중 해상도 특징 추출이 가능하고 복원 정밀도를 향상시키는 U-Net 아키텍처를 사용한다.
• 실제 PA 시스템 파rameter를 반영한 합성 데이터셋을 대규모로 활용하여 CNN을 엔드 투 엔드로 훈련시킨다.
• 전방 PA 연산자의 수반 연산자를 활용하여 네트워크를 수작업으로 설계한 필터를 대체하는 학습된 역연산자로 해석한다.
• CNN을 학습된 프레임릿 기반 분해로 해석하며, 국소적이지 않은 기저와 계수를 최적화하여 복원 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 복원 방법은 기존 방법과 비교해 제한된 시야 및 좁은 대역폭을 가진 PA 영상에서 대비도와 구조 보존 측면에서 뚜렷한 향상을 이룰 수 있는가?
• RQ2 원시 PA 데이터를 공간 + 채널 차원의 3차원 텐서로 변환하는 것이 기존 2차원 영역 학습 대비 학습 효율성과 복원 정확도를 어떻게 향상시키는가?
• RQ3 합성 데이터로 훈련된 CNN이 실제 환경의 펌프 및 생체 내 PA 영상 시나리오로 일반화되는 정도는 어느 정도인가?
• RQ4 제안된 방법은 영상 품질을 희생시키지 않고도 임상용 PAUS 시스템에 적합한 실시간 성능을 달성할 수 있는가?
• RQ5 프레임릿 기반 설계를 반영한 U-Net 아키텍처는 기존 모델 기반 방법과 비교해 PA 영상에서 악조건의 역문제를 어떻게 다루는가?

주요 결과

• 제안된 CNN 기반 복원 방법은 합성 데이터에서 기존의 지연 및 합산(DAS) 및 최소 분산(MV) 방법보다 대비도와 구조 보존 측면에서 뚜렷한 우수성을 보였다.
• 펌프 실험에서 딥 러닝 방법은 기존 기법 대비 더 높은 정밀도로 모세관 구조를 복원하고 아티팩트를 감소시켰다.
• 인간 손가락의 생체 내 영상에서 본 방법은 미세한 모세관 구조를 해상하고 실시간 임상 조건에서 높은 대비도를 유지할 수 있는 능력을 입증했다.
• 원시 데이터의 3차원 텐서 변환은 학습 효율성을 향상시키고, 약한 신호 및 세밀한 세부 사항의 보존을 향상시켰다.
• U-Net 기반 아키텍처는 아티팩트 억제 및 신호 일관성 향상을 효과적으로 학습하여 기존 필터링 및 빔포밍 방법을 능가했다.
• 표준 하드웨어에서의 빠른 복원 속도를 통해 검증된 바와 같이, 본 방법은 임상용 PAUS 시스템에 적합한 실시간 성능을 달성했다.