[논문 리뷰] Sinogram super-resolution and denoising convolutional neural network (SRCN) for limited data photoacoustic tomography

Navchetan Awasthi, Rohit Pardasani외 3명|arXiv (Cornell University)|2020. 01. 17.

Photoacoustic and Ultrasonic Imaging참고 문헌 28인용 수 18

한 줄 요약

이 논문은 한정된 검출기 데이터로부터 사진음향 단층촬영(PAT) 이미지 품질을 향상시키기 위해 심층학습 기반의 시노그램 초해상도화 및 노이즈 제거 컨volution 신경망(SRCN)을 제안한다. 7층의 컨volution 신경망을 사용하여 잔상과 노이즈를 줄이고 잔상과 노이즈를 감소시켜, 수치적 실험과 생체 내 실험 모두에서 전통적인 보간법과 웨이블릿 노이즈 제거 기법보다 최대 41.70% 낮은 RMSE와 6.93 dB 높은 PSNR를 달성한다.

ABSTRACT

The quality of the reconstructed photoacoustic image largely depends on the amount of photoacoustic (PA) boundary data available, which in turn is proportional to the number of detectors employed. In case of limited data (owing to less number of detectors due to cost/instrumentation constraints), the reconstructed PA images suffer from artifacts and are often noisy. In this work, for the first time, a deep learning based model was developed to super resolve and denoise the photoacoustic sinogram data. The proposed method was compared with existing nearest neighbor interpolation and wavelet based denoising techniques and was shown to outperform them both in numerical and in-vivo cases. The improvement obtained in Root Mean Square Error (RMSE) and Peak Signal to Noise Ratio (PSNR) for the reconstructed PA image using the sinogram data that was super-resolved and denoised using proposed neural network based method was as high as 41.70 % and 6.93 dB respectively compared to utilizing limited sinogram data.

연구 동기 및 목표

• PAT에서 검출기 데이터가 제한될 경우 발생하는 사진음향 이미지 품질 열화 문제를 해결하기 위해.
• 재구성 정밀도를 향상시키기 위해 시노그램 데이터를 초해상도화하고 노이즈 제거하는 데이터 기반의 심층학습 모델을 개발하기 위해.
• 수치적 및 생체 내 설정 모두에서 최근접 이웃 보간법과 이산 웨이블릿 변환(MODWT) 기반 노이즈 제거 기법과 비교해 우월한 성능을 내기 위해.
• 모든 차원의 시노그램 데이터에 적용 가능한 일반화 가능한 완전히 데이터 기반의 프레임워크를 제공하기 위해.

제안 방법

• 50개의 검출기로 확보한 저해상도·노이즈가 있는 시노그램에서 고해상도·노이즈가 제거된 시노그램을 예측하기 위해 7층의 컨volution 신경망(SRCN)을 훈련시킨다.
• 신경망은 잔차 학습을 사용하며, 각 컨볼루션 레이어 뒤에 ReLU 활성화 함수와 배치 정규화가 적용되며, 노이즈가 제거된 시노그램 재구성에 사용할 잔차 맵을 출력한다.
• 입력 시노그램은 SRCN에 입력되기 전에 최근접 이웃 보간법을 통해 100개의 검출기 위치로 확대 전처리된다.
• 예측된 시노그램과 진짜 시노그램 간의 평균 제곱오차(MSE) 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, Adam 최적화 기법을 적용한다.
• 모델은 수치적 페phantom(Shepp-Logan, Derenzo)과 생체 내 쥐 뇌 데이터에서 평가되며, 재구성 품질은 RMSE와 PSNR로 평가된다.
• 이 방법은 완전히 오픈소스이며, 파이썬과 MATLAB을 사용한 데이터셋 생성, 모델 훈련, 추론에 대한 코드가 제공된다.

실험 결과

연구 질문

• RQ1 심층학습 모델이 제한된 검출기 데이터로부터 사진음향 시노그램을 효과적으로 초해상도화하고 노이즈를 제거하여 재구성 품질을 향상시킬 수 있는가?
• RQ2 제안된 SRCN 모델은 전통적인 보간법과 웨이블릿 기반 노이즈 제거 기법에 비해 잔상 감소와 노이즈 억제 측면에서 어떻게 성능을 냈는가?
• RQ3 SRCN 모델은 다양한 신호 대 잡음비(SNR)와 페phantom 구성에 대해 얼마나 일반화되는가?
• RQ4 한정된 검출기 수로 촬영한 실제 생물학적 데이터에 적용했을 때, SRCN 모델은 생체 내 사진음향 이미지 품질을 향상시킬 수 있는가?

주요 결과

• 생체 내 쥐 뇌 데이터에서 SRCN 방법은 단지 50개의 검출기로 재구성한 것에 비해 RMSE는 41.70% 감소시키고 PSNR는 6.93 dB 향상시켰다.
• 60 dB SNR 수치 페phantom에서 SRCN은 최근접 이웃 보간법과 MODWT 기반 노이즈 제거 기법에 비해 RMSE를 41.70% 감소시키고 PSNR를 4.26 dB 향상시켰다.
• Derenzo 페phantom에서 SRCN는 다른 재구성 방법에서 앨리어싱 잔상으로 인해 구별이 어려웠던 작은 반지름 원을 명확히 시각화할 수 있었다.
• 모든 SNR 수준(20, 40, 60 dB)에서 SRCN은 최근접 이웃 보간법과 MODWT 기반 노이즈 제거 기법을 모두 능가했으며, RMSE와 PSNR에서 일관된 향상이 있었다.
• 모델은 재구성된 PA 이미지에서 배경 노이즈를 효과적으로 억제하고 구조적 잔상을 감소시켰으며, 특히 생체 내 데이터에서 두드러진 효과를 보였다. 일부는 구성 불일치로 인해 구조가 누락된 경우가 있었지만.
• SRCN는 미리 볼 수 없는 데이터에 대해 강력한 일반화 능력을 보였으며, 데이터가 제한된 실제 PAT 시나리오에 대한 강건성과 적용 가능성을 확인했다.