[논문 리뷰] Deep Sparse Coding Using Optimized Linear Expansion of Thresholds

Debabrata Mahapatra, Subhadip Mukherjee외 1명|arXiv (Cornell University)|2017. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 압축되고 노이즈가 섞인 측정값으로부터 희박 신호 복원을 위해, 선형 임계값 전개(LET) 기반의 학습 가능한 활성화 함수를 갖는 FISTA 알고리즘을 언롤딩한 딥 신경망(DNN)을 제안한다. 이 네트워크는 헤시안-프리 최적화를 사용하여 각 레이어당 다섯 개의 파rameter만 학습시키며, 최신의 희박 코딩 방법보다 재구성 SNR가 3–4 dB 높으며, 반수의 레이어를 가진 잔차 네트워크와 유사한 성능을 달성한다.

ABSTRACT

We address the problem of reconstructing sparse signals from noisy and compressive measurements using a feed-forward deep neural network (DNN) with an architecture motivated by the iterative shrinkage-thresholding algorithm (ISTA). We maintain the weights and biases of the network links as prescribed by ISTA and model the nonlinear activation function using a linear expansion of thresholds (LET), which has been very successful in image denoising and deconvolution. The optimal set of coefficients of the parametrized activation is learned over a training dataset containing measurement-sparse signal pairs, corresponding to a fixed sensing matrix. For training, we develop an efficient second-order algorithm, which requires only matrix-vector product computations in every training epoch (Hessian-free optimization) and offers superior convergence performance than gradient-descent optimization. Subsequently, we derive an improved network architecture inspired by FISTA, a faster version of ISTA, to achieve similar signal estimation performance with about 50% of the number of layers. The resulting architecture turns out to be a deep residual network, which has recently been shown to exhibit superior performance in several visual recognition tasks. Numerical experiments demonstrate that the proposed DNN architectures lead to 3 to 4 dB improvement in the reconstruction signal-to-noise ratio (SNR), compared with the state-of-the-art sparse coding algorithms.

연구 동기 및 목표

• 압축되고 노이즈가 섞인 측정값으로부터 희박 신호 복원을 딥 러닝을 통해 향상시키기.
• FISTA와 같은 반복적 스파arsity 감소 알고리즘을 모방하는 DNN 아키텍처를 개발하여, 더 나은 성능을 위한 학습 가능한 비선형성 도입하기.
• 헤시안 행렬의 직접 계산을 피하면서도 헤시안-프리 최적화를 통해 효율적인 훈련을 가능하게 하기.
• 성능 유지와 함께 레이어 수를 줄여 잔차 네트워크 유사한 아키텍처를 도출하기.
• 전통적인 희박 코딩 및 최신 기법들보다 뛰어난 재구성 SNR 확보하기.

제안 방법

• 고정된 가중치와 편향을 갖는 각 레이어에서 ISTA/FISTA의 언롤딩을 통해 네트워크 아키텍처를 유도한다.
• 비선형 활성화 함수는 초기화 단계에서 소프트 임계값 처리를 사용한 매개변수화된 선형 임계값 전개(LET)로 모델링한다.
• 최적의 LET 계수는 헤시안-벡터 곱만을 계산하는 헤시안-프리 최적화 알고리즘을 통해 학습한다.
• 훈련 과정은 메모리 오버헤드가 최소화된 2차 최적화를 사용하며, 빠른 수렴을 가능하게 한다.
• 결과로 도출된 네트워크는 표준 FISTA 기반 DNN보다 약 50% 적은 레이어를 가진 딥 잔차 네트워크(DRN) 유형이며, 높은 성능을 달성한다.
• 고정된 측정 행렬을 기반으로 측정값-희박 신호 쌍에 대해 훈련되며, SNR 및 지지 집합 복원 지표를 통해 성능 평가된다.

실험 결과

연구 질문

• RQ1 헤시안-프리 최적화를 통해 훈련된 딥 신경망이 압축 측정값으로부터의 신호 복원에서 전통적인 희박 코딩 알고리즘을 능가할 수 있는가?
• RQ2 선형 임계값 전개(LET) 기반의 학습 가능한 활성화 함수가 표준 소프트 임계값 처리를 초월해 희박 복원 성능을 향상시킬 수 있는가?
• RQ3 공유된 가중치와 학습 가능한 LET 활성화 함수를 갖는 FISTA 언롤딩 DNN가 표준 DNN보다 더 적은 레이어로 더 높은 재구성 SNR를 달성할 수 있는가?
• RQ4 레이어 간 파rameter를 묶을 경우 성능에 어떤 영향을 미치며, 여전히 최신 기법들을 능가할 수 있는가?
• RQ5 추론 과정에서 네트워크의 지지 집합 안정화 행동이 SNR 향상과 어떻게 관련되어 있는가?

주요 결과

• 제안된 fLETnet 아키텍처는 최신의 희박 코딩 알고리즘보다 재구성 신호 대 잡음비(SNR)에서 3–4 dB 향상을 달성한다.
• 반수의 레이어로 표준 잔차 네트워크(DRN)와 유사한 성능을 달성하며, 이는 높은 샘플 효율성을 시사한다.
• 헤시안-프리 최적화를 통해 기존 경사 하강법 대비 더 빠른 수렴과 뛰어난 훈련 성능를 확보한다.
• LET 파arameter를 레이어 간 묶을 경우 약 2 dB의 SNR 저하가 발생하지만, 여전히 경쟁 기법들보다 2–3 dB 높은 성능를 확보한다.
• 추론 과정에서 지지 집합 추정이 조기에 안정화되며, 이후 주로 진폭 회귀를 수행함을 SRM 분석을 통해 확인하였다.
• 학습 과정을 통해 각 레이어별 정규화 기법을 자동으로 발견하였으며, 이들이 집합적으로 표준 ℓ₁ 정규화보다 희박 복원에서 더 뛰어난 성능를 발휘한다.