[논문 리뷰] DALnet: High-resolution photoacoustic projection imaging using deep learning

Johannes Schwab, Stephan Antholzer외 2명|arXiv (Cornell University)|2018. 01. 20.

Photoacoustic and Ultrasonic Imaging참고 문헌 5인용 수 8

한 줄 요약

이 논문은 동적 아포어처 길이(DAL) 보정과 컨volution 신경망(CNN)을 결합한 딥러닝 기반 프레임워크인 DALnet을 제안한다. 이는 저해상도 및 고속의 광음향 영상 투영 영상 기술을 가능하게 한다. 희박한 검출기 어레이에서의 부족한 샘플링, 블러링 및 제한된 시야 아티팩트를 해결함으로써, 반복적 재구성 없이도 수분 내에 정확한 3D 영상을 생성한다.

ABSTRACT

Photoacoustic tomography (PAT) is an emerging and non-invasive hybrid imaging modality for visualizing light absorbing structures in biological tissue. The recently invented PAT systems using arrays of 64 parallel integrating line detectors allow capturing photoacoustic projection images in fractions of a second. Standard image formation algorithms for this type of setup suffer from under-sampling due to the sparse detector array, blurring due to the finite impulse response of the detection system, and artifacts due to the limited detection view. To address these issues, in this paper we develop a new direct and non-iterative image reconstruction framework using deep learning. Within this approach we combine the dynamic aperture length (DAL) correction algorithm with a deep convolutional neural network (CNN). As demonstrated by simulation and experiment, the resulting DALnet is capable of producing high-resolution projection images of 3D structures in fractions of seconds.

연구 동기 및 목표

• 희박한 검출기 어레이를 사용한 광음향 단층촬영에서 표준 이미지 형성 기법의 한계를 해결한다.
• 투영 영상에서의 부족한 샘플링, 유한한 검출기 응답으로 인한 블러링 및 시야각 아티팩트를 극복한다.
• 실시간 고해상도 영상 촬영을 가능하게 하는 직접적이고 반복적이지 않은 재구성 방법을 개발한다.
• 딥러닝을 활용해 동적 아포어처 길이 보정을 통합하여 영상 품질과 해상도를 향상시킨다.

제안 방법

• 이미지 재구성을 위해 동적 아포어처 길이(DAL) 보정 알고리즘과 딥 컨volution 신경망(CNN)을 결합한다.
• DAL 보정을 통해 소스 및 검출기 기하학적 구조에 기반해 효과적인 아포어처 크기를 동적으로 모델링한다.
• 시뮬레이션 및 실험 데이터를 기반으로 CNN을 엔드 투 엔드로 훈련하여 원시 투영 데이터에서 고해상도 영상으로의 매핑을 학습한다.
• 미세한 공간적 세부 사항을 유지하고, 희박한 샘플링 및 제한된 시야로 인한 아티팩트를 억제할 수 있도록 CNN 아키텍처를 설계한다.
• 훈련된 모델을 새로운 데이터에 직접 적용하여 실시간 비반복 이미지 재구성을 수행한다.
• 모델의 강건성과 일반화 능력을 확보하기 위해 시뮬레이션과 실험적 검증을 모두 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크는 희박한 검출기 어레이를 사용한 광음향 영상 투영에서의 부족한 샘플링과 블러링을 효과적으로 보정할 수 있는가?
• RQ2 DAL 보정을 CNN과 결합함으로써 기존 방법에 비해 영상 해상도 향상과 아티팩트 감소에 어떤 기여를 하는가?
• RQ3 제안된 방법은 고해상도 유지 조건에서 얼마나 실시간 비반복 재구성을 달성할 수 있는가?
• RQ4 DALnet의 성능은 다양한 3D 구조와 영상 조건에 대해 얼마나 잘 일반화되는가?

주요 결과

• DALnet은 수초 내에 고해상도 광음향 영상 투영 영상을 성공적으로 생성하여 실시간 영상 촬영을 가능하게 한다.
• DAL 보정과 CNN의 통합은 제한된 검출 시야 및 희박한 샘플링으로 인한 아티팩트를 크게 감소시킨다.
• 시뮬레이션 및 실험 환경 모두에서 영상 품질 향상이 입증되었으며, 공간 해상도 향상과 블러링 감소가 확인되었다.
• 반복적 알고리즘의 계산 부담을 피하기 위해 비반복적 재구성을 달성하였다.
• 합성 및 실제 데이터를 통한 검증을 통해 다양한 3D 구조에 대해 우수한 일반화 성능을 보였다.
• 결과는 딥러닝 접근법이 원시 투영 데이터로부터 복잡한 이미지 재구성 매핑을 효과적으로 학습할 수 있음을 확인한다.