[논문 리뷰] Analog Sparse Approximation with Applications to Compressed Sensing

Adam S. Charles, Pierre Garrigues외 1명|arXiv (Cornell University)|2011. 11. 17.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 연속 시간 회로를 사용하여 압축 측정(compressed sensing)에서 희소 근사 문제를 해결하기 위한 아날로그 동적 시스템인 LCA(Leaky Compartmentalized Architecture)를 제안한다. 이 시스템은 대규모 문제에서 20 μs 이내의 복구 시간을 달성하여 50–100 kHz에서 실시간 처리를 가능하게 하며, 재구성 없이도 다양한 희소 정규화 노름을 지원한다.

ABSTRACT

Recent research has shown that performance in signal processing tasks can often be significantly improved by using signal models based on sparse representations, where a signal is approximated using a small number of elements from a fixed dictionary. Unfortunately, inference in this model involves solving non-smooth optimization problems that are computationally expensive. While significant efforts have focused on developing digital algorithms specifically for this problem, these algorithms are inappropriate for many applications because of the time and power requirements necessary to solve large optimization problems. Based on recent work in computational neuroscience, we explore the potential advantages of continuous time dynamical systems for solving sparse approximation problems if they were implemented in analog VLSI. Specifically, in the simulated task of recovering synthetic and MRI data acquired via compressive sensing techniques, we show that these systems can potentially perform recovery at time scales of 10-20μs, supporting datarates of 50-100 kHz (orders of magnitude faster that digital algorithms). Furthermore, we show analytically that a wide range of sparse approximation problems can be solved in the same basic architecture, including approximate $\ell^p$ norms, modified $\ell^1$ norms, re-weighted $\ell^1$ and $\ell^2$, the block $\ell^1$ norm and classic Tikhonov regularization.

연구 동기 및 목표

• 실시간 및 전력 제약 조건이 있는 응용 분야에서 디지털 희소 근사 알고리즘의 높은 계산 비용을 해결하기 위해.
• 연속 시간 아날로그 VLSI 회로를 사용하여 희소 최적화 문제를 해결하는 데의 가능성을 탐색하기 위해.
• 단일 아날로그 아키텍처가 표준 ℓ¹ 최소화를 넘어서 다양한 희소 근사 문제를 해결할 수 있음을 입증하기 위해.
• 압축 측정 복구를 위한 아날로그 동적 시스템의 성능 및 확장성을 평가하기 위해.
• 아날로그 계산의 속도를 디지털 정밀도와 결합하는 하이브리드 아날로그-디지털 시스템의 기반을 마련하기 위해.

제안 방법

• LCA는 에너지 최소화를 통해 희소 근사 문제의 해로 수렴하는 연속 시간 동적 시스템으로 모델링된다.
• 최적화 문제의 이중 형태로부터 유도되어 안정적인 수렴을 보장하는 최적 해로의 수렴을 가능하게 한다.
• 시스템의 시간 상수를 동적으로 재구성함으로써 ℓ¹, 재가중 ℓ¹, ℓ², 블록 ℓ¹, Tikhonov 등 다양한 정규화 함수를 지원하는 아키텍처를 제공한다.
• 시뮬레이션 결과, LCA는 N = 1000 변수를 가진 문제를 10–20 μs 내에 해결할 수 있으며, 이는 50–100 kHz의 데이터 전송 속도에 해당한다.
• 계수의 희소 해로의 수렴을 모델링하는 연립 미분 방정식의 집합이 시스템의 역학을 지배한다.
• 정규화 파라미터를 지속적으로 조정함으로써 동적 재가중을 가능하게 하여, 반복적인 디지털 방법보다 수렴 시간을 단축시킨다.

실험 결과

연구 질문

• RQ1 연속 시간 아날로그 회로는 디지털 알고리즘보다 대규모 희소 근사 문제를 더 빠르게 해결할 수 있는가?
• RQ2 재구성 없이도 단일 아날로그 아키텍처가 다양한 희소 정규화 노름을 지원할 수 있는가?
• RQ3 실제로 문제 크기가 커질수록 아날로그 LCA의 해법 시간은 어떻게 변화하는가?
• RQ4 압축 측정에서 아날로그 구현의 복구 속도와 정확도는 어느 정도 달성 가능한가?
• RQ5 실시간 신호 복구 응용 분야에서 아날로그 동적 시스템은 디지털 솔버를 능가할 수 있는가?

주요 결과

• N = 1000인 문제에 대해 LCA는 10–20 μs 내에 신호 복구를 달성하여 50–100 kHz에서 실시간 처리가 가능하다.
• 디지털 알고리즘과 달리, 아날로그 시스템의 해법 시간은 문제 크기에 따라 유의미하게 증가하지 않는다.
• 동일한 LCA 아키텍처는 ℓ¹, 재가중 ℓ¹, ℓ², 블록 ℓ¹, Tikhonov 정규화를 포함한 다양한 희소 근사 문제를 해결할 수 있다.
• 동적으로 재가중된 LCA는 표준 디지털 재가중 알고리즘의 두 번의 반복에 필요한 시간 내에 수렴한다.
• 초기 하드웨어 프로토타입은 상대적 평균 제곱 오차(Relative MSE)가 5% 이하를 달성하여 시뮬레이션 성능를 검증하였다.
• 시스템의 성능는 제조 불일치에 대해 뛰어난 내구성을 보이며, 재구성 가능한 아날로그 설계를 통해 추가로 향상될 수 있다.