[논문 리뷰] Deep Learning-Guided Image Reconstruction from Incomplete Data

Brendan J. Kelly, Thomas P. Matthews외 1명|arXiv (Cornell University)|2017. 09. 02.

Advanced Image Processing Techniques참고 문헌 24인용 수 45

한 줄 요약

이 논문은 근사 반복 최적화에서 프록시털 연산자를 딥 러닝 기반의 컨volution 신경망(CNN)으로 대체하는 딥 러닝 유도 반복 영상 복원 방법을 제안한다. 이 CNN은 잡음이 많은 영상에서 원본 청소년 영상으로의 매핑을 학습한다. 반복적 프레임워크 내에 CNN을 통합함으로써, 극도로 불완전한 데이터에서 영상 품질을 향상시키며, 기존의 단일 패assing 딥 러닝 방법과 비교해 더 낮은 RMSE와 더 높은 SSIM을 달성하여 한정된 시야 CT 복원에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

An approach to incorporate deep learning within an iterative image reconstruction framework to reconstruct images from severely incomplete measurement data is presented. Specifically, we utilize a convolutional neural network (CNN) as a quasi-projection operator within a least squares minimization procedure. The CNN is trained to encode high level information about the class of images being imaged; this information is utilized to mitigate artifacts in intermediate images produced by use of an iterative method. The structure of the method was inspired by the proximal gradient descent method, where the proximal operator is replaced by a deep CNN and the gradient descent step is generalized by use of a linear reconstruction operator. It is demonstrated that this approach improves image quality for several cases of limited-view image reconstruction and that using a CNN in an iterative method increases performance compared to conventional image reconstruction approaches. We test our method on several limited-view image reconstruction problems. Qualitative and quantitative results demonstrate state-of-the-art performance.

연구 동기 및 목표

• 컴퓨터 영상 시스템에서 극도로 불완전한 측정 데이터로부터 고품질 영상을 복원하는 문제를 해결하기 위해.
• 비압축 샘플링 조건과 복잡한 영상 사전 지식에서 어려움을 겪는 전통적인 정규화 방법의 한계를 극복하기 위해.
• 딥 러닝을 활용해 인간이 인지할 수 있는 잡음 패턴을 반영하는 도메인 특화 영상 사전 지식을 캡처하기 위해.
• 학습된 CNN을 반복 최적화 프레임워크에 통합함으로써 영상 복원 성능을 향상시키기 위해.
• 반복적 통합을 통해 학습된 CNN이 단일 패assing 영상 복원 또는 표준 희박 정규화보다 더 나은 성능을 내는지 입증하기 위해.

제안 방법

• 프록시털 경사 하강법의 프록시털 연산자를, 잡음이 많은 영상에서 해당되는 청소년 영상으로의 매핑을 학습한 CNN으로 대체한다.
• CNN은 쌍화된 데이터로 훈련되며, 이는 불완전한 데이터에서 복원된 영상(잡음 있음)과 그에 해당하는 진짜 영상(ground-truth)으로 구성된다.
• 반복적 프레임워크는 선형 복원 연산자에 기반한 경사 하강 단계와 영상 사전 지식을 강제하는 CNN 기반 업데이트 단계를 번갈아 수행한다.
• 일반화 성능 향상을 위해 이중 단계 훈련 전략을 도입하였으며, 먼저 대규모 잡음 영상 세트에서 CNN을 사전 훈련하고, 이후 쌍화된 데이터에서 미세 조정한다.
• 최소 제곱 최소화 문제로 공식화되며, CNN에서 유도된 학습된 정규화 항을 포함하여 데이터 일관성과 사전 지식 간 균형을 이룬다.
• 이 방법은 일반적이며, PLS-TV와 같은 다른 복원 연산자도 통합하여 성능 향상에 기여할 수 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 CNN이 반복 복원 프레임워크에 효과적으로 통합되어 불완전한 데이터에서 영상 품질을 향상시킬 수 있는가?
• RQ2 제안된 반복적 딥 러닝 방법의 성능은 단일 패assing CNN 기반 영상 복원 및 기존의 희박 정규화 방법과 비교해 어떻게 다른가?
• RQ3 이중 단계 훈련 전략이 영상 복원에서 CNN의 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ4 학습된 사전 지식을 반복적으로 통합하는 방식이 비압축 샘플링 조건에서 표준 정규화보다 더 효과적으로 잡음을 줄일 수 있는가?
• RQ5 제안된 방법이 다양한 한정된 시야 복원 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 모든 테스트 케이스에서 가장 낮은 RMSE와 가장 높은 SSIM을 달성하였으며, 140도 노이즈 케이스에서 RMSE는 0.011, SSIM은 0.989였다.
• 100도 노이즈 케이스에서는 RMSE를 0.022로 줄였고 SSIM을 0.969로 높였으며, PLS-TV( RMSE 0.059, SSIM 0.852)보다 뚜렷이 뛰어났다.
• 단일 패assing CNN 기반 접근법은 기준 LS-NN보다 향상되었지만, 특히 노이즈 조건에서 제안된 반복적 방법에 비해 뒤처졌다.
• 이중 단계 훈련 전략은 일반화 능력을 향상시켜 표준 훈련보다 더 나은 성능을 내었으며, 공정한 비교를 위해 필수적이었다.
• 스티킹 잡음과 노이즈를 크게 줄였으며, PLS-TV가 강력한 노이즈 억제를 보였음에도 불구하고 잡음 제거에 어려움을 겪는 경우에도 효과적이었다.
• 다양한 시야 불완전성 수준과 노이즈 강도에서 프레임워크가 강건성을 보였으며, 정량적 및 정성적 지표에서 모두 최신 기술 수준의 기법들을 뛰어넘는 성능을 보였다.