[論文レビュー] Video Compressive Sensing for Spatial Multiplexing Cameras using Motion-Flow Models

Aswin C. Sankaranarayanan, Lina Xu+4 more|arXiv (Cornell University)|Mar 9, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用数 1

ひとこと要約

本論文は、空間多重化カメラのための圧縮感知フレームワークであるCS-MUVIを提案する。この手法は、低解像度の動画プレビューから導出される運動フロー制約を活用することで、約60×の圧縮率で高品質な動画再構成を実現する。プレビュー計算のための効率的な感度行列を設計し、凸最適化において光学フローを空間時間的事前分布として用いることで、時間アーリアスを抑制し、標準的なCS手法を上回る解像度を達成する。

ABSTRACT

Spatial multiplexing cameras (SMCs) acquire a (typically static) scene through a series of coded projections using a spatial light modulator (e.g., a digital micro-mirror device) and a few optical sensors. This approach finds use in imaging applications where full-frame sensors are either too expensive (e.g., for short-wave infrared wavelengths) or unavailable. Existing SMC systems reconstruct static scenes using techniques from compressive sensing (CS). For videos, however, existing acquisition and recovery methods deliver poor quality. In this paper, we propose the CS multi-scale video (CS-MUVI) sensing and recovery framework for high-quality video acquisition and recovery using SMCs. Our framework features novel sensing matrices that enable the efficient computation of a low-resolution video preview, while enabling high-resolution video recovery using convex optimization. To further improve the quality of the reconstructed videos, we extract optical-flow estimates from the low-resolution previews and impose them as constraints in the recovery procedure. We demonstrate the efficacy of our CS-MUVI framework for a host of synthetic and real measured SMC video data, and we show that high-quality videos can be recovered at roughly $60 imes$ compression.

研究の動機と目的

• 空間多重化カメラ（SMC）における既存の圧縮感知システムでは、時間的変動があるにもかかわらず静的シーンを仮定しているため、動画品質が劣悪である問題に対処する。
• 動画CSにおける「じゃがいもと鶏の問題」（運動推定にはフレームが必要だが、フレームの再構成には運動推定が必要）を克服する。
• 光学フローを事前分布として用いることで、コーディング済み投影から低レートでの高解像度動画再構成を可能にする、感度と再構成フレームワークを開発する。
• 低解像度プレビューと高解像度再構成の両方を効率的に行える計算効率の高い感度行列を設計する。
• 実データおよび合成データにおける空間多重化カメラの動画データにおいて、物体の速度、照度、動的物体のサイズの変動に対して、堅牢性を示す。

提案手法

• 離散正弦変換（DST）とマルチスケール構造（DSS）に基づく、低解像度動画プレビューの効率的計算を可能にする、新しい感度行列設計を提案する。
• 低解像度プレビューを用いて、市販のアルゴリズムで光学フローを推定し、それを凸最適化フレームワークに制約として組み込む。
• 空間的および時間的勾配におけるスパarsityを強制する全変動ベースの最適化問題を定式化し、光学フローを構造的事前分布として統合する。
• 回復プロセスに運動制約を統合することで、時間アーリアスを低減し、再構成忠実度を向上させる。
• 2段階の再構成パイプラインを設計する：まず低解像度プレビューを再構成し、次に運動に配慮した正則化を用いて高解像度に精錬する。
• 感度行列の構造を活用して、高速な計算と高解像度動画へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 空間多重化カメラにおける圧縮測定から、低解像度動画プレビューを効率的に計算できるか？
• RQ2 このようなプレビューからの光学フロー推定は、圧縮感知における高解像度動画再構成をどのように改善するか？
• RQ3 運動制約は、低サンプリングレートのSMT用動画CSにおいて、時間アーリアスをどの程度低減できるか？
• RQ4 提案フレームワークは、物体の速度、照度、動的物体のサイズの変動に対して、どのように性能を示すか？
• RQ5 シーンの動的特性を事前に把握しない状態でも、プレビュー解像度の適応性を実現できるマルチスケール感度行列を設計できるか？

主な発見

• CS-MUVIフレームワークは、約60×の圧縮率で高品質な動画再構成を達成し、標準的なCS手法を著しく上回る。
• CS-MUVIを用いた再構成動画は、2倍ダウンサンプリングを上回る解像度に達し、限られた測定値でもフル解像度にわずかに下回る程度の高解像度を実現する。
• 低解像度プレビューからの光学フロー推定を回復プロセスに統合することで、時間アーリアスが効果的に抑制される。
• 物体の速度が変化しても性能は堅牢で、最大速度時でも滑らかに劣化し、最小限のアーチファクトを発生させる。
• 動的物体のサイズが視野の1/4から1/2の広い範囲にわたり、安定した再構成を維持する。
• 低照度条件下でも滑らかに性能劣化を示し、光量が低下してもわずかなアーチファクトしか発生しない。