[論文レビュー] Analog Sparse Approximation with Applications to Compressed Sensing

Adam S. Charles, Pierre Garrigues+1 more|arXiv (Cornell University)|Nov 17, 2011

Sparse and Compressive Sensing Techniques参考文献 43被引用数 5

ひとこと要約

本稿では、連続時間回路を用いて圧縮感知におけるスパース近似問題を解くために、アナログ動的システム、LCA（Leaky Compartmentalized Architecture）を提案する。大規模な問題に対して20 μs未満の回復時間を達成し、50–100 kHzのリアルタイム処理を可能にするとともに、再構成を必要とせずに幅広いスパース正則化ノルムをサポートする。

ABSTRACT

Recent research has shown that performance in signal processing tasks can often be significantly improved by using signal models based on sparse representations, where a signal is approximated using a small number of elements from a fixed dictionary. Unfortunately, inference in this model involves solving non-smooth optimization problems that are computationally expensive. While significant efforts have focused on developing digital algorithms specifically for this problem, these algorithms are inappropriate for many applications because of the time and power requirements necessary to solve large optimization problems. Based on recent work in computational neuroscience, we explore the potential advantages of continuous time dynamical systems for solving sparse approximation problems if they were implemented in analog VLSI. Specifically, in the simulated task of recovering synthetic and MRI data acquired via compressive sensing techniques, we show that these systems can potentially perform recovery at time scales of 10-20μs, supporting datarates of 50-100 kHz (orders of magnitude faster that digital algorithms). Furthermore, we show analytically that a wide range of sparse approximation problems can be solved in the same basic architecture, including approximate $\ell^p$ norms, modified $\ell^1$ norms, re-weighted $\ell^1$ and $\ell^2$, the block $\ell^1$ norm and classic Tikhonov regularization.

研究の動機と目的

• リアルタイムかつ電力制約のある応用分野におけるデジタルスパース近似アルゴリズムの高い計算コストを低減すること。
• 連続時間アナログVLSI回路を用いたスパース最適化問題の解法の可能性を検討すること。
• 標準的なℓ¹最小化を超える多様なスパース近似問題を、1つのアナログアーキテクチャで解くことの妥当性を示すこと。
• アナログ動的システムの圧縮感知回復における性能とスケーラビリティを評価すること。
• アナログ計算の高速性とデジタルの精度を組み合わせたハイブリッドアナログ・デジタルシステムの基盤を構築すること。

提案手法

• LCAは、エネルギー最小化を通じてスパース近似問題の解へと進化する連続時間動的システムとしてモデル化される。
• 最適化問題の双対定式化から導出され、最適解への安定した収束を可能にする。
• システムの時間定数を動的に再設定することで、ℓ¹、再重み付けℓ¹、ℓ²、ブロックℓ¹、ティコノフ正則化など多様な正則化関数をサポートする。
• シミュレーションにより、N = 1000変数の問題を10–20 μsで解けることが示された。これは50–100 kHzのデータレートに対応する。
• 係数がスパース解へと進化する過程を記述する、連立微分方程式の集合がシステムのダイナミクスを支配する。
• 正則化パラメータを継続的に調整することで動的再重み付けが可能となり、反復的デジタル手法と比較して収束時間を短縮できる。

実験結果

リサーチクエスチョン

• RQ1 連続時間アナログ回路は、デジタルアルゴリズムよりも大規模なスパース近似問題を高速に解くことができるか？
• RQ2 再構成を必要とせずに、1つのアナログアーキテクチャが複数のスパース正則化ノルムをサポートできるか？
• RQ3 実際の問題サイズに応じて、アナログLCAの解法時間はどのようにスケーリングされるか？
• RQ4 圧縮感知におけるアナログ実装の回復速度と精度はどの程度達成可能か？
• RQ5 リアルタイム信号回復応用において、アナログ動的システムはデジタルソルバーを上回る性能を示せるか？

主な発見

• N = 1000の問題に対して、LCAは10–20 μsで信号回復を達成し、50–100 kHzのリアルタイム処理に対応する。
• デジタルアルゴリズムとは異なり、アナログシステムの解法時間は問題サイズに著しく依存しない。
• 同じLCAアーキテクチャで、ℓ¹、再重み付けℓ¹、ℓ²、ブロックℓ¹、ティコノフ正則化など多様なスパース近似問題を解ける。
• 動的再重み付けLCAは、標準的なデジタル再重み付けアルゴリズムの2回分の反復に相当する時間で収束する。
• 初期のハードウェアプロトタイプは相対的平均二乗誤差5%未満を達成し、シミュレーション性能の妥当性を検証した。
• 製造マッチングのずれに対してもシステムの性能は頑健であり、再構成可能なアナログ設計によりさらなる改善が可能である。