[論文レビュー] Compressive Acquisition of Dynamic Scenes

Aswin C. Sankaranarayanan, Pavan Turaga+2 more|arXiv (Cornell University)|Jan 23, 2012

Sparse and Compressive Sensing Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、動的シーンを線形力学系（LDS）としてモデル化することで、ナイキストレートよりはるかに少ない測定回数で動画を回復可能な、動画取得のための圧縮センシングフレームワークであるCS-LDSを提案する。時間変動する状態と時間不変の観測行列を分離し、2段階の圧縮測定戦略を用いることで、効率的な再構成とパラメータ推定を実現し、測定要件を顕著に削減するとともに、シーン分類などの後続タスクを可能にする。

ABSTRACT

Compressive sensing (CS) is a new approach for the acquisition and recovery of sparse signals and images that enables sampling rates significantly below the classical Nyquist rate. Despite significant progress in the theory and methods of CS, little headway has been made in compressive video acquisition and recovery. Video CS is complicated by the ephemeral nature of dynamic events, which makes direct extensions of standard CS imaging architectures and signal models difficult. In this paper, we develop a new framework for video CS for dynamic textured scenes that models the evolution of the scene as a linear dynamical system (LDS). This reduces the video recovery problem to first estimating the model parameters of the LDS from compressive measurements, and then reconstructing the image frames. We exploit the low-dimensional dynamic parameters (the state sequence) and high-dimensional static parameters (the observation matrix) of the LDS to devise a novel compressive measurement strategy that measures only the dynamic part of the scene at each instant and accumulates measurements over time to estimate the static parameters. This enables us to lower the compressive measurement rate considerably. We validate our approach with a range of experiments involving both video recovery, sensing hyper-spectral data, and classification of dynamic scenes from compressive data. Together, these applications demonstrate the effectiveness of the approach.

研究の動機と目的

• 高次元データを伴う動的で一時的なシーンにおける圧縮動画取得の挑戦に応えること。
• 線形力学系（LDS）における低次元的ダイナミクスを活用することで、動画再構成に必要な圧縮測定回数を削減すること。
• 時間変動する状態と時間不変の観測行列を分離する測定戦略を設計し、効率的なパラメータ推定を実現すること。
• 完全な動画再構成なしに、圧縮測定のみを用いて動画再構成と特徴抽出（例：分類のため）を可能にすること。

提案手法

• 状態系列と観測行列を有する線形力学系（LDS）として動画をモデル化し、低次元的ダイナミクスを活用して複雑性を低減する。
• 2段階の圧縮測定戦略を設計：まず時間変動する状態を測定し、その後測定値を蓄積して時間不変の観測行列を推定する。
• 状態系列および観測行列へのスパarsity事前分布を活用し、凸最適化を用いて圧縮測定からLDSパラメータを解く。
• LDSが生成する動画系列の低ランク性を活用するため、ブロックハンケル行列構造を適用し、効率的な再構成を実現する。
• オンラインでのパラメータ更新が可能で計算負担を軽減する逐次推定フレームワークを採用する。
• LDS事前分布を圧縮センシングフレームワークに統合し、アンダーサンプリングされた線形測定からの再構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的シーンを線形力学系（LDS）としてモデル化することで、圧縮センシングを動画に効果的に適用できるか？
• RQ2 LDSに基づく動画モデルにおいて、時間変動する状態と時間不変の観測行列の両方を効率的に推定するための圧縮測定はどのように設計できるか？
• RQ3 CS-LDSフレームワークを用いた正確な動画再構成に必要な理論的測定レートは、ナイキストサンプリングと比較してどの程度か？
• RQ4 LDSベースのフレームワークは、最小限の測定回数で、シーン分類などの後続タスクをどの程度サポートできるか？
• RQ5 圧縮測定のみが利用可能な状況で、CS-LDSの性能は、MPEG-4などの従来の動画圧縮方式と比較してどうか？

主な発見

• CS-LDSは、線形力学系（LDS）の低次元的ダイナミクスを活用することで、ナイキストレートよりはるかに少ない測定回数で動画再構成を実現する。
• 2段階の測定戦略により、LDSパラメータの効率的推定が可能となり、時間変動する状態を最初に焦点化することで、必要な圧縮測定回数を削減する。
• 完全な動画アクセスがなくても、圧縮測定のみを用いて正確な動画再構成とシーン分類を実現する。
• 同等の再構成SNRにおいて、MPEG-4は非線形的で人間の知覚に最適化された符号化により、CS-LDSよりも高い視覚的品質を達成する。これは、線形圧縮モデルの限界を示している。
• 数百万変数を含む大規模な動画に対しても計算的に実行可能であり、直接のハンケル行列ベースのアフィンランク最小化法よりもスケーラビリティに優れる。
• 2段階の測定設計のため、フレームワークは普遍的ではないが、高次元動画信号の高速かつスケーラブルな再構成を可能にする。