[論文レビュー] CSVideoNet: A Real-time End-to-end Learning Framework for High-frame-rate Video Compressive Sensing

Kai Xu, Fengbo Ren|arXiv (Cornell University)|Dec 15, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用数 13

ひとこと要約

CSVideoNetは、反復的再構成を回避し、マルチレートCNNと合成LSTMを介して逆写像を直接学習する、リアルタイムでエンドツーエンドの深層学習フレームワークを提案する。1枚のGPUで100倍圧縮比で25 dBのPSNRを達成し、125 fpsの再構成速度を実現し、最新の手法と比較して3桁の速度向上を達成し、品質-圧縮比トレードオフを著しく改善する。

ABSTRACT

This paper addresses the real-time encoding-decoding problem for high-frame-rate video compressive sensing (CS). Unlike prior works that perform reconstruction using iterative optimization-based approaches, we propose a non-iterative model, named "CSVideoNet". CSVideoNet directly learns the inverse mapping of CS and reconstructs the original input in a single forward propagation. To overcome the limitations of existing CS cameras, we propose a multi-rate CNN and a synthesizing RNN to improve the trade-off between compression ratio (CR) and spatial-temporal resolution of the reconstructed videos. The experiment results demonstrate that CSVideoNet significantly outperforms the state-of-the-art approaches. With no pre/post-processing, we achieve 25dB PSNR recovery quality at 100x CR, with a frame rate of 125 fps on a Titan X GPU. Due to the feedforward and high-data-concurrency natures of CSVideoNet, it can take advantage of GPU acceleration to achieve three orders of magnitude speed-up over conventional iterative-based approaches. We share the source code at https://github.com/PSCLab-ASU/CSVideoNet.

研究の動機と目的

• 高フレームレート動画圧縮センシング（CS）におけるリアルタイム復号化のボトル neck を解決すること。従来の反復的手法は実用的使用には遅すぎる。
• 既存のCSカメラの限界を克服し、圧縮比（CR）と空間的・時間的解像度のトレードオフを改善すること。
• 事前・事後処理を一切行わず、圧縮済みの動画測定値から高品質な元のフレームへ直接マッピングするエンドツーエンドで非反復的な深層学習フレームワークを開発すること。
• 時間的・空間的特徴抽出を組み合わせた新規アーキテクチャを用いて、高圧縮比下でも再構成の正確性を向上させること。
• ハードウェア制約のある環境でのリアルタイム展開を可能にする、GPUアクセceleratedでフォワードのみの推論を実現すること。

提案手法

• 異なる解像度で階層的な空間的特徴を効率的に抽出するマルチレートCNNを提案し、圧縮効率と高い空間的忠実度を実現する。
• 時間的依存性をモデル化し、動きを暗黙的に推定するため、合成再帰ニューラルネットワーク（LSTM）を統合する。
• 圧縮測定値から元の動画フレームへの逆写像を1回のフォワードパスで直接学習するエンドツーエンドでフォワードのみの深層ニューラルネットワークを設計する。
• 空間的および時間的特徴抽出パスを同時に最適化する共同最適化戦略を採用し、高圧縮比下での再構成品質を向上させる。
• スパarsityの事前知識を不要とするデータ駆動型でスパースフリーのアプローチを採用し、反復的最適化を回避して大規模なラベルなし動画データから直接逆写像を学習する。
• 深層ネットワークアーキテクチャの高いデータ並列性とフォワードのみの性質を活かし、GPUアクセcelerationにより高スループット推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースで非反復的なフレームワークは、高圧縮比下でも高フレームレート動画CSのリアルタイム再構成を達成できるか？
• RQ2 空間的・時間的特徴の共同学習は、従来手法と比較して、圧縮比と再構成品質のトレードオフをどのように改善するか？
• RQ3 LSTMによる暗黙の動き推定は、特に高圧縮比下で再構成忠実度をどの程度向上させるか？
• RQ4 本手法は、スパarsityの事前知識を用いないまま、反復的最適化に基づくCS手法を再構成品質と速度の両面で上回れるか？
• RQ5 実際の高フレームレート動画取得環境におけるセンサーノイズに対して、モデルのロバストネスはどの程度か？

主な発見

• CSVideoNetは、Titan X GPU上で100倍圧縮比で25 dBのPSNRを達成し、リアルタイム性能を実証した。
• 160×160の動画フレームを100倍圧縮比下で8 ms（125 fps）で再構成でき、D-AMP や MC-BCS といった反復的手法と比べて3桁の高速化を達成した。
• LSTMネットワークの統合により、単体の大きなCNNと比較して最大4 dBのPSNR向上が達成され、時間的モデリングの重要性が裏付けられた。
• 100倍圧縮比下で、CSVideoNetは24.23 dBのPSNRと0.74のSSIMを達成し、VCSNet や ReconNet を含むすべてのベースライン手法を上回った。
• SNR 20 dB、40 dB、60 dB の全レベルで、ノイズ環境下でも一貫して高いPSNRを維持し、参照手法より優れたロバストネスを示した。
• 性能向上はモデルサイズそのものではなく、空間的・時間的特徴の共同学習に起因しており、LSTMを含まない大きなCNNでは最小限の向上にとどまった。