[논문 리뷰] NETT Regularization for Compressed Sensing Photoacoustic Tomography

Stephan Antholzer, Johannens Schwab외 3명|arXiv (Cornell University)|2019. 01. 31.

Photoacoustic and Ultrasonic Imaging참고 문헌 31인용 수 6

한 줄 요약

이 논문은 압축 감도 광음향단층촬영(이하 CS-PAT)을 위한 NETT(네트워크 티콘وف 티콘وف) 정규화 기법을 제안한다. 이 기법은 학습된 신경망을 정규화자로 사용하여 극도로 저밀도로 샘플링된 데이터로부터 이미지 복원 품질을 향상시킨다. 제안된 방법은 전통적인 $μat{1}$-최소화 및 잔차 U-Net보다 노이즈에 강인하고 잡음 감소 성능이 뛰어나며, 시뮬레이션 및 실험 데이터에서 뛰어난 성능을 보인다. 다만, 합성 데이터와 실제 데이터 간의 도메인 이탈로 인해 실제 측정 데이터에서는 여전히 성능 격차가 존재한다.

ABSTRACT

We discuss several methods for image reconstruction in compressed sensing photoacoustic tomography (CS-PAT). In particular, we apply the deep learning method of [H. Li, J. Schwab, S. Antholzer, and M. Haltmeier. NETT: Solving Inverse Problems with Deep Neural Networks (2018), arXiv:1803.00092], which is based on a learned regularizer, for the first time to the CS-PAT problem. We propose a network architecture and training strategy for the NETT that we expect to be useful for other inverse problems as well. All algorithms are compared and evaluated on simulated data, and validated using experimental data for two different types of phantoms. The results on the one the hand indicate great potential of deep learning methods, and on the other hand show that significant future work is required to improve their performance on real-word data.

연구 동기 및 목표

• 극도로 저밀도로 샘플링된 데이터에서 압축 감도 광음향단층촬영(CS-PAT)의 이미지 복원 문제를 해결하기 위해, 기존 방법들이 생성하는 잡음과 해상도 저하 문제를 완화하고자 한다.
• 기존에 역문제에 적용된 딥러닝 기반의 NETT 프레임워크를 처음으로 CS-PAT에 적용하여, 학습된 정규화자를 활용해 복원 품질을 향상시키고자 한다.
• CS-PAT 외의 다른 역문제에 일반화 가능한 성능을 보이기 위해, NETT 정규화자를 위한 단순화된 네트워크 아키텍처와 학습 전략을 개발하고자 한다.
• 노이즈 및 저밀도 샘플링 조건 하에서 시뮬레이션 및 실험적 CS-PAT 데이터에 대해 NETT, 잔차 U-넷, 그리고 공동 $μat{1}$-최소화의 성능을 평가하고자 한다.
• 딥러닝 기반 방법이 실제 데이터에서 성능이 떨어지는 이유를 규명하고, 보다 나은 전방 모델링 및 훈련 데이터를 통한 향상 전략을 제안하고자 한다.

제안 방법

• 논문은 CS-PAT 문제를 선형 역문제로 공식화하여, 음파장의 저밀도 측정값으로부터 초기 압력 분포 $p_0$ 를 복원하는 것을 목표로 한다.
• 기존의 티콘وف 또는 $μat{1}$ 정규화를 대체하기 위해, 훈련 데이터로부터 데이터 기반 정규화자를 학습하는 깊이 신경망을 적용한 NETT 프레임워크를 도입한다.
• 제안된 NETT 정규화자는 단순화된 아키텍처와 이미지 공간에서의 복원 오차 최소화를 목표로 하는 손실 함수를 사용하여 훈련되며, 잠재공간에서의 명시적 진짜값이 필요하지 않다.
• 비교를 위해 잔차 U-넷을 베이스라인으로 사용하며, 이는 저밀도 측정값을 직접 재구성된 이미지로 매핑하는 엔드 투 엔드 학습 방식을 취한다.
• 훈련을 위해 10개의 혈관 페phantom으로 구성된 합성 데이터셋을 사용하였으며, 노이즈와 저밀도 샘플링 패턴(희박 및 베르누이 샘플링)을 고려한 현실적인 PAT 데이터를 시뮬레이션하였다.
• 복원 과정은 학습된 NETT 정규화자를 포함한 티콘وف 유사 최적화 문제를 연속적 해법(예: 켈리지 방법)을 사용하여 해결한다.

실험 결과

연구 질문

• RQ1 클래식한 $μat{1}$-최소화 및 딥러닝 기반 베이스라인과 비교해, NETT를 통한 학습된 정규화자가 압축 감도 광음향단층촬영(CS-PAT)의 이미지 복원 품질을 향상시키는가?
• RQ2 다양한 노이즈 수준에서 시뮬레이션 및 실험 데이터에서 제안된 단순화된 NETT 정규화자의 성능이 잔차 U-넷 및 $μat{1}$-최소화와 비교해 어떻게 되는가?
• RQ3 시뮬레이션 데이터에서는 뛰어난 성능을 보이지만, 실제 실험 데이터에서는 여전히 딥러닝 기반 방법의 성능이 열등한 이유는 무엇인가?
• RQ4 CS-PAT 이외의 역문제에 효과적인, 더 단순하고 효율적인 NETT 정규화자 네트워크 아키텍처를 설계할 수 있는가?
• RQ5 딥러닝 기반 CS-PAT의 실제 데이터에서의 성능 저하의 주요 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 노이즈가 없는 시뮬레이션 데이터에서 NETT 정규화자는 희박 샘플링 조건에서 $μat{1}$-최소화를 능가하며, 모든 방법 중 가장 낮은 평균제곱오차(MSE)를 기록한다.
• 노이즈가 있는 데이터(7% 노이즈)에서는 희박 샘플링 조건에서 잔차 U-넷이 가장 낮은 MSE와 RMAE를 기록하지만, 베르누이 샘플링 조건에서는 NETT가 가장 우수한 성능을 보였다.
• 학습된 정규화자가 단순한 결정론적 정규화자보다 일관되게 뛰어난 성능을 보이며, CS-PAT에서 데이터 기반 정규화의 유용성을 입증한다.
• 실험 데이터에서는 FBP 및 $μat{1}$-최소화에 비해 모든 딥러닝 방법(NETT 및 잔차 U-넷)이 잡음을 줄이고 잡음 잔여물을 감소시켰으며, 특히 크로스 페phantom에서 U-넷이 가장 뛰어난 잡음 억제 성능을 보였다.
• 시뮬레이션 데이터에서는 뛰어난 성능를 보였지만, 모든 딥러닝 방법은 리프 페phantom의 미세한 구조를 완전히 복원하지 못했으며, 이는 합성 데이터와 실제 데이터 간의 도메인 격차를 시사한다.
• $μat{1}$-최소화 방법은 노이즈가 없는 베르누이 샘플링 조건에서 가장 우수한 성능를 보였지만, 반복적 정밀화가 필요해 딥러닝 방법보다 훨씬 느렸다.