[論文レビュー] LiSens --- A Scalable Architecture for Video Compressive Sensing

Jian Wang, Mohit Gupta+1 more|arXiv (Cornell University)|Mar 14, 2015

Optical Coherence Tomography Applications参考文献 21被引用数 6

ひとこと要約

LiSensは、従来の1ピクセルカメラにおける1ピクセル検出器を1次元ラインセンサーに置き換えることで、画素圧縮センシングの新規アーキテクチャを提案する。これにより、従来のSPCの50倍以上にあたる最大1 MHzの測定レートを実現し、低コスト・低解像度センサーを用いてビデオレート・メガピクセル解像度の撮影を可能にする。この設計により、フレームレートのボトルネックがSLMからセンサー読み出しに移行し、スパarsityに基づく再構成を用いることで、高速かつ高解像度のビデオセンシングが実現される。

ABSTRACT

The measurement rate of cameras that take spatially multiplexed measurements by using spatial light modulators (SLM) is often limited by the switching speed of the SLMs. This is especially true for single-pixel cameras where the photodetector operates at a rate that is many orders-of-magnitude greater than the SLM. We study the factors that determine the measurement rate for such spatial multiplexing cameras (SMC) and show that increasing the number of pixels in the device improves the measurement rate, but there is an optimum number of pixels (typically, few thousands) beyond which the measurement rate does not increase. This motivates the design of LiSens, a novel imaging architecture, that replaces the photodetector in the single-pixel camera with a 1D linear array or a line-sensor. We illustrate the optical architecture underlying LiSens, build a prototype, and demonstrate results of a range of indoor and outdoor scenes. LiSens delivers on the promise of SMCs: imaging at a megapixel resolution, at video rate, using an inexpensive low-resolution sensor.

研究の動機と目的

• 空間多重化カメラ（SMC）、特に1ピクセルカメラ（SPC）におけるフレームレート制限を克服すること。ここでの測定レートは、空間光調制器（SLM）のスイッチング速度によって制限されている。
• SMCにおけるセンサー解像度と測定レートの最適なトレードオフを特定すること。特に、数1000ピクセルを超えると解像度を向上させてもフレームレートが向上しないことが判明した。
• 高測定レートと高空間解像度を実現するスケーラブルで低コストなイメージングアーキテクチャを設計すること。
• 1ピクセル検出器を1次元ラインセンサーに置き換えることで、安価で低解像度のセンサーを用いても、メガピクセル解像度のビデオレート撮影が可能になることを実証すること。

提案手法

• LiSensアーキテクチャは、1ピクセル検出器の代わりに1次元線形アレイ（ラインセンサー）を用いる。各センサーピクセルは、DMD上のマイクロミラーの1行に光学的にマッピングされる。
• システムは、DMDを介して空間多重化パターンを投影し、ラインセンサー上で時間的に光を積分することで、シーンの符号化された線積分を取得する。
• 光学設計により、各ラインセンサーのピクセルは、対応するDMDの行に沿った画像強度の重み付き和を測定する。これにより、空間多重化を符号化する測定行列Aを用いた圧縮センシングが可能になる。
• 本手法は、画像ドメインにおけるスパarsityを活用し、3次元全変動（TV）とモーションフローの事前知識を用いて、アンダーサンプリングされた測定値から高品質な動画を再構成する。
• フレームレートがSLMのスイッチング速度に依存しなくなったことで、測定レートが大幅に向上し、ラインセンサーの読み出しレートが新たなボトルネックとなる。
• DMDと1024ピクセルのラインセンサーを用いたラボプロトタイプを構築し、室内および屋外のシーンを対象に、さまざまな動きとノイズレベルで検証を実施した。

実験結果

リサーチクエスチョン

• RQ1 空間多重化カメラにおける測定レートを最大化するための最適なセンサーのピクセル数は何か？
• RQ2 1ピクセル検出器を1次元ラインセンサーに置き換えることで、圧縮センシングカメラの測定レートを著しく向上させられるか？
• RQ3 低コスト・低解像度のセンサーを用いて、圧縮センシングにより高解像度・ビデオレートの撮影をどの程度達成できるか？
• RQ4 空間的・時間的事前知識（3次元TVやモーションフロー）は、高いアンダーサンプリング要因下でも再構成品質をどの程度向上させるか？
• RQ5 LiSensアーキテクチャは、非可視波帯域においても、フルフレームセンサーと同等のビデオレート性能を実現しつつ、低コストを維持できるか？

主な発見

• LiSensは、従来の1ピクセルカメラ（SPC）の20 kHz制限に比べて約50倍速い、ほぼ1 MHzの測定レートを達成した。
• プロトタイプは、1024×768解像度で5–10 fpsのフレームレートを達成し、メガピクセル解像度のビデオレート圧縮センシングを実証した。
• 8倍のアンダーサンプリング要因下で、SPCが7.4倍のアンダーサンプリングで得た再構成よりも高い品質の結果を得た。これは、画像のスパarsityが解像度に非線形的に依存するためである。
• 動的シーン（回転するウサギ）に対して、3次元全変動の事前知識と中央値フィルタリングを用いて、9 fpsで空間的詳細を保持した再構成動画を生成した。
• ノイズの高い屋外シーンでは再構成品質が低下したため、厳しい条件下ではモーションフローなどのより強い事前知識が必要であることが示された。
• ラインセンサー設計により、フレームレートのボトルネックがSLMからセンサー読み出しに移行し、高速でスケーラブルな圧縮イメージングが可能になった。