[논문 리뷰] The Power of Complementary Regularizers: Image Recovery via Transform Learning and Low-Rank Modeling

Bihan Wen, Yanjun Li외 1명|arXiv (Cornell University)|2018. 08. 03.

Sparse and Compressive Sensing Techniques참고 문헌 66인용 수 6

한 줄 요약

이 논문은 스파arsity를 학습된 희소화 변환을 통해, 그리고 유사한 패치의 군집화된 낮은 질서 모델링을 통해 함께 활용함으로써 이미지 복원 성능을 향상시키는 새로운 이미지 복원 프레임워크인 STROLLR을 제안한다. 변환 학습과 그룹 기반 낮은 질서 정규화를 결합함으로써 STROLLR는 노이즈 제거, 인painting, 압축 감도 MRI에서 최신 기술 수준의 성능을 달성하였으며, 기존 방법들보다 PSNR에서 최대 7.7 dB 향상되었다.

ABSTRACT

Recent works on adaptive sparse and on low-rank signal modeling have demonstrated their usefulness in various image / video processing applications. Patch-based methods exploit local patch sparsity, whereas other works apply low-rankness of grouped patches to exploit image non-local structures. However, using either approach alone usually limits performance in image reconstruction or recovery applications. In this work, we propose a simultaneous sparsity and low-rank model, dubbed STROLLR, to better represent natural images. In order to fully utilize both the local and non-local image properties, we develop an image restoration framework using a transform learning scheme with joint low-rank regularization. The approach owes some of its computational efficiency and good performance to the use of transform learning for adaptive sparse representation rather than the popular synthesis dictionary learning algorithms, which involve approximation of NP-hard sparse coding and expensive learning steps. We demonstrate the proposed framework in various applications to image denoising, inpainting, and compressed sensing based magnetic resonance imaging. Results show promising performance compared to state-of-the-art competing methods.

연구 동기 및 목표

• 이미지 복원에서 스파arsity 또는 낮은 질서 모델링을 별도로 사용할 경우 발생하는 한계를 해결하기 위해 두 정규화 기법을 통합하는 것.
• 자연 이미지의 局부적 희소성과 비국소적 자기유사성을 모두 활용하는 효율적이고 적응형 이미지 복원 프레임워크를 개발하는 것.
• 계산 비용이 높은 합성 사전 학습 대신 희소화 변환 학습을 도입하여 정확하고 빠른 희소 코딩을 실현하는 것.
• 압축 감도 MRI, 노이즈 제거, 인painting과 같은 과도한 역문제에서 통합된 정규화 모델을 통해 성능을 향상시키는 것.

제안 방법

• 학습된 희소화 변환과 그룹 기반 낮은 질서 근사치를 통합한 동시 희소성 및 낮은 질서 모델인 STROLLR를 제안한다.
• 임계처리를 통해 이미지 패치를 희소 계수로 적응적으로 표현할 수 있도록 변환 학습을 사용하여 정확하고 효율적인 희소 코딩을 가능하게 한다.
• 블록 매칭을 활용해 유사한 이미지 패치를 군집화하고, 각 군집에 핵심 노름 또는 슈atten p-노름 정규화를 적용하여 낮은 질서 구조를 강제한다.
• 수렴 보장을 갖춘 분할 상향 다중법(ADMM) 알고리즘을 사용하여 동시 최적화 문제를 해결한다.
• 희소성(학습된 변환을 통한)과 낮은 질서성(군집 패치 행렬을 통한)을 통합된 최적화 프레임워크 내에서 하이브리드 정규화 기법으로 조합한다.
• 과도화 비율과 이미지 콘텐츠에 따라 정규화 파라미터를 적응적으로 조정하여 다양한 촬영 조건에서의 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습된 변환에서의 희소성과 그룹화된 패치의 낮은 질서 모델링을 결합함으로써 개별 정규화 기법을 넘어서 이미지 복원 성능을 향상시킬 수 있는가?
• RQ2 STROLLR 프레임워크는 노이즈 제거, 인painting, 압축 감도 MRI에서 최신 기술 대비 PSNR와 시각적 품질 측면에서 어떻게 비교되는가?
• RQ3 이미지 복원 작업에서 합성 사전 학습 대비 희소화 변환 학습이 계산적 이점이 있는가?
• RQ4 희소성과 비국소적 자기유사성의 동시 정규화가 재구성된 이미지에서 잡음과 아티팩트를 어느 정도 감소시키는가?
• RQ5 딥러닝 기반 방법과 달리 재학습 없이도 다양한 MRI 촬영 패턴과 이미지 유형에 일반화 가능한가?

주요 결과

• 2.5× 과도화 조건에서 물리적 필름 이미지를 복원할 때 STROLLR-MRI는 Sparse MRI보다 PSNR에서 7.7 dB 향상되었다.
• 일곱 개의 MRI 재구성 사례 평균에서 STROLLR-MRI는 TL-MRI와 FRIST-MRI보다 각각 2.5 dB와 2.3 dB 높은 성능을 기록했다.
• 5× 허위 라디얼 과도화 조건에서 Brain Data 1 이미지의 경우 STROLLR-MRI는 37.3 dB의 PSNR를 기록하여 ADMM-Net을 1.4 dB 초월했다.
• 시각적 비교 결과 STROLLR-MRI는 딥러닝 기반 ADMM-Net을 포함한 경쟁 방법들보다 더 적은 아티팩트와 노이즈를 생성하였다.
• 프레임워크는 100회 이터레이션 내에서 경험적으로 수렴하였으며, 새로운 촬영 패턴에 대해 재학습 없이 다양한 이미징 시나리오에서 높은 성능를 유지하였다.
• 변환 학습의 사용으로 정확하고 효율적인 희소 코딩이 가능해졌으며, 합성 사전 학습에서 흔히 발생하는 NP-어려움의 근사화를 피할 수 있었다.