[논문 리뷰] Image Restoration from Patch-based Compressed Sensing Measurement

Guangtao Nie, Ying Fu외 2명|arXiv (Cornell University)|2017. 06. 02.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 조각 기반 압축 감지(CS) 측정값에서 이미지 복원을 위한 반복적이지 않은, 딥 러닝 기반의 방법을 제안한다. 이는 계단형 아티팩트를 효과적으로 제거하면서도, 합성 및 실재 데이터에서 최신 기술보다 뛰어난 성능과 높은 속도를 달성한다.

ABSTRACT

A series of methods have been proposed to reconstruct an image from compressively sensed random measurement, but most of them have high time complexity and are inappropriate for patch-based compressed sensing capture, because of their serious blocky artifacts in the restoration results. In this paper, we present a non-iterative image reconstruction method from patch-based compressively sensed random measurement. Our method features two cascaded networks based on residual convolution neural network to learn the end-to-end full image restoration, which is capable of reconstructing image patches and removing the blocky effect with low time cost. Experimental results on synthetic and real data show that our method outperforms state-of-the-art compressive sensing (CS) reconstruction methods with patch-based CS measurement. To demonstrate the effectiveness of our method in more general setting, we apply the de-block process in our method to JPEG compression artifacts removal and achieve outstanding performance as well.

연구 동기 및 목표

• 조각 기반 측정값을 위한 기존의 압축 감지 복원 기법에서 발생하는 높은 시간 복잡도와 계단형 아티팩트 문제를 해결하기 위해.
• 조각 기반 CS 측정값에서 전체 이미지를 효율적으로 복원할 수 있는 종단 간 이미지 복원 프레임워크를 개발하기 위해.
• 반복 기반 CS 방법과 비교해 계산 비용을 줄이면서도 복원 품질을 유지하거나 향상시키기 위해.
• JPEG 아티팩트 제거에 적용함으로써 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 조각 기반 압축 감지 측정값에서 종단 간 이미지 복원을 학습하기 위해 두 개의 연결된 잔차 합성곱 신경망(ResNets)을 활용한다.
• 첫 번째 네트워크는 학습된 잔차 매핑을 활용해 압축 측정값으로부터 개별 이미지 조각을 복원한다.
• 두 번째 네트워크는 복원된 조각을 정제하여 계단형 아티팩트를 억제하고 시각적 품질을 향상시킨다.
• 이 아키텍처는 반복적이지 않아서 전통적인 최적화 기반 CS 방법에 비해 낮은 시간 비용으로 빠른 추론이 가능하다.
• 블록 제거 모듈은 CS를 넘어 일반화되도록 훈련되어 있으며, 뛰어난 성능으로 JPEG 아티팩트 제거에 적용된다.
• 모델은 압축 측정값과 진짜 이미지의 쌍을 사용한 지도 학습을 통해 종단 간으로 훈련된다.

실험 결과

연구 질문

• RQ1 반복적이지 않은 딥 러닝 접근법이 낮은 계산 비용으로 조각 기반 압축 감지 측정값에서 이미지를 효과적으로 복원할 수 있는가?
• RQ2 연결된 CNN 아키텍처가 조각 기반 CS 복원에서 계단형 아티팩트를 얼마나 잘 억제하는가?
• RQ3 CS 복원을 위한 블록 제거 모듈이 JPEG 압축 아티팩트와 같은 다른 손상 유형으로 일반화되는가?
• RQ4 제안된 방법이 최신 기술과 비교해 정량적 및 정성적으로 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 합성 및 실재 조각 기반 CS 측정값에서 최신 기술보다 뛰어난 복원 품질을 달성한다.
• 이 방법은 조각 기반 CS 복원에서 흔히 발생하는 계단형 아티팩트를 크게 줄여 시각적 정밀도를 향상시킨다.
• 반복적이지 않은 설계 덕분에 낮은 시간 복잡도를 유지하여 빠른 추론이 가능하다.
• 블록 제거 모듈은 잘 일반화되어 있으며, JPEG 압축 아티팩트 제거에서 뛰어난 성능을 보인다.
• 정량적 결과로는 벤치마크 데이터셋에서 기존 방법보다 향상된 PSNR 및 SSIM 값이 나타났다.
• 이 방법은 합성 테스트 케이스를 넘어서 실재 데이터에서도 잘 작동하는 강력한 일반화 능력을 보였다.