[論文レビュー] Spatio-temporal Compressed Sensing with Coded Apertures and Keyed Exposures

Zachary T. Harmany, Roummel F. Marcia+1 more|arXiv (Cornell University)|Nov 30, 2011

Sparse and Compressive Sensing Techniques参考文献 48被引用数 12

ひとこと要約

本稿では、符号化アパーチャーとキーディッド露出を用いた時空間圧縮センシングフレームワークを提案し、少数の測定値から高分解能動画の再構成を可能にする。振幅変調または位相シフトを活用して、制限等長性性質（RIP）を満たす構造的プロジェクションを生成することで、スパースな動画系列の安定した再構成が保証され、理論的保証と非負性および時間的相関を組み込んだ高速な凸最適化アルゴリズムが得られる。

ABSTRACT

Optical systems which measure independent random projections of a scene according to compressed sensing (CS) theory face a myriad of practical challenges related to the size of the physical platform, photon efficiency, the need for high temporal resolution, and fast reconstruction in video settings. This paper describes a coded aperture and keyed exposure approach to compressive measurement in optical systems. The proposed projections satisfy the Restricted Isometry Property for sufficiently sparse scenes, and hence are compatible with theoretical guarantees on the video reconstruction quality. These concepts can be implemented in both space and time via either amplitude modulation or phase shifting, and this paper describes the relative merits of the two approaches in terms of theoretical performance, noise and hardware considerations, and experimental results. Fast numerical algorithms which account for the nonnegativity of the projections and temporal correlations in a video sequence are developed and applied to microscopy and short-wave infrared data.

研究の動機と目的

• 光圧縮センシングにおける実用的課題、すなわち低光子効率、大きな物理的フットプリント、動画システムにおける限られた時間分解能に対処すること。
• 符号化アパーチャーとキーディッド露出を統合した包括的な時空間センシングフレームワークを構築し、スナップショート動画取得を実現すること。
• スパースなシーンに対して、提案されたセンシング行列が制限等長性性質（RIP）を満たすことを証明することで、再構成の理論的安定性を確保すること。
• 時間的相関を活用する非負性対応の高速凸最適化アルゴリズムを設計すること。
• 顕微鏡法および短波長赤外画像データを用いた実験的検証により、優れた再構成品質を示すこと。

提案手法

• 本手法は、空間的符号化アパーチャーと時間的キーディッド露出を組み合わせたセンシング行列 A を用い、動画系列のランダムプロジェクションを生成する。
• 符号化アパーチャーはバイナリマスクパターンにより光を変調するが、キーディッド露出はシャッタータイミングを制御し、高速なオンオフサイクルにより時間情報をエンコードする。
• センシングプロセスは、f* をフレーム単位にベクトル化した動画系列とし、Toeplitzブロックから導かれる構造的行列 A による線形系 y = A f* としてモデル化される。
• 理論的解析により、測定サイズとシーンスパースネスの比に条件を満たす場合、A が高確率で制限等長性性質（RIP）を満たすことが証明されている。
• 画素強度の非負性を強制し、動画フレーム間の時間的相関を活用する凸最適化フレームワークが開発された。
• センシング行列の構造と動画のスパarsityに適合した反復アルゴリズムにより、最適化が効率的に解かれる。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングの原則を用いて、単一の光学系が同時に高時間分解能と高空間分解能を達成できるか？
• RQ2 符号化アパーチャーとキーディッド露出をどのように共同で設計すれば、動画信号に対して制限等長性性質（RIP）を満たすことができるか？
• RQ3 このようなハイブリッドセンシング手法を用いた場合の、動画再構成の理論的性能保証は何か？
• RQ4 ノイズ耐性およびハードウェア実装可能性の観点から、振幅変調と位相シフトはどのように比較できるか？
• RQ5 非負性に配慮した高速再構成アルゴリズムは、動画系列内の時間的相関を効果的に活用できるか？

主な発見

• 提案された CAKE センシング行列は、n/d ≥ c₁s²log(nB) の条件下で、高確率で制限等長性性質（RIP）を満たす。ここで、n は1フレームあたりの画素数、d は1フレームあたりの測定数、s はスパースネス、B はフレーム数を表す。
• 理論的バウンドにより、RIP失敗確率は n とともに指数関数的に減少し、十分にスパースなシーンでは安定した再構成が保証される。
• 振幅変調と位相シフトの両方が同等の理論的性能を示すが、振幅変調はノイズ耐性に優れ、ハードウェア実装がより簡単である。
• 顕微鏡法および短波長赤外データを用いた数値実験により、従来手法よりも少ない測定数で高品質な再構成が達成された。
• 非負性と時間的相関を組み込んだ提案された凸最適化アルゴリズムは、標準的なCSソルバーよりも高速な収束と向上した再構成忠実度を達成した。
• 符号化アパーチャーと露出パターンによる空間的および時間的情報の多重化により、低フレームレートセンサを用いたスナップショート動画取得が可能になった。