[논문 리뷰] Learning to Invert: Signal Recovery via Deep Convolutional Networks

Ali Mousavi, Richard G. Baraniuk|arXiv (Cornell University)|2017. 01. 14.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 37

한 줄 요약

이 논문은 압축 측정값에서 고품질의 신호 복원을 가능하게 하는 딥 컨volution 신경망인 DeepInverse를 제안한다. 데이터 적응형 희소 표현과 효율적인 역함수 매핑을 동시에 학습함으로써, 전통적 알고리즘 대비 최대 300배 빠른 복원 성능를 달성하여 최소 지연 시간으로 실시간 신호 복원을 가능하게 한다.

ABSTRACT

The promise of compressive sensing (CS) has been offset by two significant challenges. First, real-world data is not exactly sparse in a fixed basis. Second, current high-performance recovery algorithms are slow to converge, which limits CS to either non-real-time applications or scenarios where massive back-end computing is available. In this paper, we attack both of these challenges head-on by developing a new signal recovery framework we call {\em DeepInverse} that learns the inverse transformation from measurement vectors to signals using a {\em deep convolutional network}. When trained on a set of representative images, the network learns both a representation for the signals (addressing challenge one) and an inverse map approximating a greedy or convex recovery algorithm (addressing challenge two). Our experiments indicate that the DeepInverse network closely approximates the solution produced by state-of-the-art CS recovery algorithms yet is hundreds of times faster in run time. The tradeoff for the ultrafast run time is a computationally intensive, off-line training procedure typical to deep networks. However, the training needs to be completed only once, which makes the approach attractive for a host of sparse recovery problems.

연구 동기 및 목표

• 고정 기저에서 정확히 희소하지 않은 실세계 신호의 과제를 해결함으로써, 고전적 압축 측정 기반의 효과성을 제한하는 문제를 해결한다.
• 최신 복원 알고리즘의 느린 수렴 속도로 인해 실시간 응용이 제한되는 문제를 해결한다.
• 신호 표현과 측정값에서 신호로의 역함수 매핑을 종단 간 훈련 가능한 방식으로 동시에 학습하는 딥 러닝 프레임워크를 개발한다.
• 계산 자원이 제한되거나 실시간 처리가 필요한 응용 분야에서 빠르고 지연이 적은 신호 복원을 가능하게 한다.
• 이전의 블록 기반 접근 방식과 달리, 임의의(비블록형) 측정 행렬을 지원함으로써 더 넓은 측정 환경에 적용 가능하도록 한다.

제안 방법

• 압축 측정값 y ∈ ℝᴹ에서 재구성된 신호 x ∈ ℝᴺ로 매핑하는 딥 컨볼루션 네트워크(DCN)를 훈련하여, 압축 측정 과정의 역함수를 학습한다.
• 공유 가중치와 ReLU 비선형성을 갖는 컨볼루션 레이어를 사용하여, 신호의 계층적이고 공간적으로 구조화된 표현을 학습한다.
• 대표적인 신호(예: 이미지) 데이터셋을 기반으로 종단 간 훈련을 수행하여, 데이터 적응형 희소 기저와 그로우 또는 볼록 복원 알고리즘의 근사치를 동시에 학습한다.
• 예측된 신호와 진짜 신호 간의 재구성 오차를 최소화하기 위해 역전파를 사용하여 네트워크 가중치를 최적화한다.
• 블록 구조가 아닌 전체 신호 측정 행렬을 처리할 수 있도록 설계되어, 더 넓은 적용 가능성을 확보한다.
• 훈련은 한 번의 오프라인 과정으로 수행되며, 이후 추론은 매우 빠르게 이루어져 실시간 구현에 적합하다.

실험 결과

연구 질문

• RQ1 신호가 고정 기저에서 정확히 희소하지 않은 경우에도, 딥 컨볼루션 네트워크가 압축 측정값에서 신호로의 효과적인 역함수 매핑을 학습할 수 있는가?
• RQ2 학습된 역함수 매핑이 압축 측정에서 최신 볼록 또는 그로우 복원 알고리즘의 성능을 어느 정도 근사할 수 있는가?
• RQ3 제안된 방법의 추론 속도는 기존 복원 알고리즘과 비교하여 실시간 또는 저지연 응용에서 어떻게 다른가?
• RQ4 측정 노이즈와 다양한 압축 비율에 대해 학습된 복원 프레임워크는 얼마나 강건한가?
• RQ5 대표적인 훈련 분포를 기반으로 하면, 다양한 신호 유형 간에 재학습 없이 일반화 가능한가?

주요 결과

• DeepInverse는 D-AMP 및 TV 최소화와 같은 최신 알고리즘과 유사한 재구성 품질을 달성하며, 최고 성능를 보이는 방법들과 평균 PSNR 값이 1–2 dB 내외로 수렴한다.
• M/N = 0.1의 압축 비율에서 DeepInverse는 평균 재구성 시간이 1장당 0.01초로, D-AMP(2.56초) 및 기타 기존 알고리즘 대비 250–300배 더 빠르게 작동한다.
• 낮은 압축 비율(예: M/N = 0.01)에서 DeepInverse는 복원 성공 확률 측면에서 D-AMP를 능가하여, 극도로 압축된 영역에서도 뛰어난 성능을 보인다.
• DeepInverse는 입력 노이즈에 더 강건한 편이다: 20 dB 노이즈 조건에서 평균 PSNR(18.70 dB)는 D-AMP(21.14 dB)보다 유의미하게 높으며, 노이즈에 대한 내성력이 뛰어나다는 것을 시사한다.
• 최악의 경우 이미지에서도 DeepInverse는 높은 품질의 재구성을 달성한다(PSNR = 13.10 dB), 반면 D-AMP의 최악 성능은 13.19 dB로 떨어지며, 다양한 입력에 대해 일관된 성능을 유지함을 보여준다.
• 훈련 수렴이 안정적이며, 초기 훈련 반복 과정에서 PSNR가 급격히 향상되고 몇 에포크 후에는 TV 최소화 및 P-AMP를 초월하여 효과적인 최적화를 보여준다.