[論文レビュー] Tree-Structure Bayesian Compressive Sensing for Video

Xin Yuan, Patrick Llull+2 more|arXiv (Cornell University)|Oct 12, 2014

Sparse and Compressive Sensing Techniques参考文献 30被引用数 9

ひとこと要約

本稿では、カラーモノクロムの圧縮測定値1つから、カラーモノクロム圧縮測定値1つから、22フレーム/秒の高フレームレートカラー動画を再構成するためのツリー構造ベイジアン圧縮センシングフレームワークを提案する。波形およびDCT係数の3次元ツリー構造を、ベイジアン推論フレームワーク内での隠れマルコフツリー（HMT）モデルを用いて活用することで、最先端のアルゴリズムを上回る優れた再構成品質が達成され、シミュレーションでは最大3.5 dBのPSNR向上が得られ、実世界の実験では動的運動の明確な回復が確認された。

ABSTRACT

A Bayesian compressive sensing framework is developed for video reconstruction based on the color coded aperture compressive temporal imaging (CACTI) system. By exploiting the three dimension (3D) tree structure of the wavelet and Discrete Cosine Transformation (DCT) coefficients, a Bayesian compressive sensing inversion algorithm is derived to reconstruct (up to 22) color video frames from a single monochromatic compressive measurement. Both simulated and real datasets are adopted to verify the performance of the proposed algorithm.

研究の動機と目的

• カラーモノクロム圧縮測定値を用いて、高フレームレートカラー動画を低レートの圧縮測定値から再構成するベイジアン圧縮センシング逆問題アルゴリズムの開発を目的とする。
• 空間的・時間的・色空間的3方向にわたるウェーブレットおよびDCT係数の3次元（3D）ツリー構造を活用し、再構成の忠実度を向上させることを目的とする。
• 物理的に実現可能な低消費電力の圧縮イメージングシステム（color-CACTI）を用いて、1つのモノクローム測定値から高品質な動画再構成を可能とすることを目的とする。
• シミュレーションおよび実世界の動画再構成において、GAP、TwIST、K-SVD、GMM、および線形化ブレグマン法などの既存のCS逆問題手法を上回ることを目的とする。

提案手法

• 本手法は、階層的ベイジアンフレームワーク内に隠れマルコフツリー（HMT）モデルを用いて、ウェーブレットおよびDCT係数の3次元ツリー構造をモデル化し、空間的・時間的・色空間的依存関係を捉える。
• ハイパーパrameterおよびノイズ分散の推定には、精度および混合割合にガンマ分布およびベータ分布を用いた変分ベイジアン推論を採用する。
• 再構成プロセスでは、レベルごとの精度パrameter τℓ および混合割合 πℓ を用いた階層的事前分布モデルを採用し、それぞれガンマ分布およびベータ分布でモデル化する。
• 測定モデルとして、各圧縮測定値 Y_l が、動的なバイナリマスクで変調された動画フレームの重み付き和として定式化され、要素ごとの乗算（ハダマード積）で表現される。
• 主な方程式には、精度 τℓ の事後平均 ⟨τℓ⟩ = (c₀ + 0.5∑Nℓ) / (d₀ + 0.5∑∑⟨w²j,i⟩) が含まれ、混合割合 πℓ の事前分布には、スパarsityと構造の促進を目的としたハイパーパrameterを設定したベータ分布が用いられる。
• 本手法は、ダービーチェス-8ウェーブレットを空間的変換、DCTを時間的変換に用いて、シミュレーションおよび実データの両方のデータセットに適用した。

実験結果

リサーチクエスチョン

• RQ1 カラーモノクロム圧縮測定値1つから、color-CACTIシステムを用いて、高フレームレートカラー動画を効果的に再構成できるベイジアン圧縮センシングフレームワークは存在するか？
• RQ2 ウェーブレットおよびDCT係数の3次元ツリー構造を活用することで、標準的なCS手法と比較して、動画再構成性能がどのように向上するか？
• RQ3 変分ベイジアン推論を用いた階層的HMTモデルの導入が、再構成品質および計算効率に与える影響は何か？
• RQ4 GAP、TwIST、K-SVD、GMM、線形化ブレグマン法などの最先端CS逆問題アルゴリズムと比較して、本手法は定量的および定性的にどのように優れているか？
• RQ5 本アルゴリズムは、低フレームレートの測定値から、高速運動、回転、衝撃イベントなどの微細な時間的ダイナミクスを実世界の動画シーケンスで回復できるか？

主な発見

• 提案されたツリー構造ベイジアンCS手法は、バスケットダンクシーケンスを含むシミュレーション動画データにおいて、競合アルゴリズムと比較して最大3.5 dBのPSNR向上を達成した。
• 実世界の実験では、1つの圧縮測定値から22フレーム/秒の高フレームレート動画フレームを再構成し、回転する赤いリンゴやハンマーがリンゴに衝突するような動的イベントを明確に捉えた。
• PSNRおよび視覚的品質の両面で、GAP、TwIST、線形化ブレグマン、K-SVD、GMMを上回り、特に微細な運動ディテールの保持とアーチファクトの低減に優れた性能を示した。
• 階層的HMTモデルと変分ベイジアン推論の組み合わせにより、スパarsityおよび係数構造の安定的推定が可能となり、再構成忠実度の向上が達成された。
• 複雑な運動と変化する照明条件を伴う困難なシーンにおいても、本手法は優れた性能を示し、実世界の条件下での頑健性を確認した。
• 1フレームグループあたり1つの測定値のみを用いても高品質な再構成が達成されたことから、color-CACTIシステムが低データレート動画取得に非常に効率的であることが裏付けられた。