[論文レビュー] The STONE Transform: Multi-Resolution Image Enhancement and Real-Time Compressive Video

Tom Goldstein, Lina Xu+2 more|arXiv (Cornell University)|Nov 14, 2013

Sparse and Compressive Sensing Techniques参考文献 2被引用数 26

ひとこと要約

STONE変換は、ナイキストレートでの高速直接再構成と圧縮センシングを組み合わせることで、リアルタイムでマルチスケールの画像および動画再構成を可能にする。新規のマルチスケールセンシング作用素を用いることで、埋め込みデバイス上での即時プレビュー生成が可能となり、その後にスパarsityに基づく回復による高精細な強化が行われる。これにより、運動アリasingを低減し、ナイキスト制限を超えた時間分解能が向上するリアルタイムの圧縮動画が実現される。

ABSTRACT

Compressed sensing enables the reconstruction of high-resolution signals from under-sampled data. While compressive methods simplify data acquisition, they require the solution of difficult recovery problems to make use of the resulting measurements. This article presents a new sensing framework that combines the advantages of both conventional and compressive sensing. Using the proposed \stone transform, measurements can be reconstructed instantly at Nyquist rates at any power-of-two resolution. The same data can then be "enhanced" to higher resolutions using compressive methods that leverage sparsity to "beat" the Nyquist limit. The availability of a fast direct reconstruction enables compressive measurements to be processed on small embedded devices. We demonstrate this by constructing a real-time compressive video camera.

研究の動機と目的

• 埋め込みデバイス上でリアルタイム再構成が不可能な圧縮センシングの計算ボトルネックを解消すること。
• 従来の撮影法と圧縮撮影法を統合し、同じ測定値から高速プレビューと高分解能強化の両方を可能にすること。
• 圧縮動画における運動アリasingを、短い測定時間と高い時間分解能を維持しながら低減すること。
• 低コストのシングルピクセルセンサと効率的な数値的手法を用いた、リアルタイム圧縮動画の実用的フレームワークの開発。
• スパarsityを活用することで、圧縮再構成がナイキスト制限を「上回る」可能性を示し、従来のサンプリングよりも高い分解能を達成すること。

提案手法

• STONE変換は、高速直接再構成と反復的圧縮回復の両方に適合するマルチスケールセンシング作用素を用いる。
• 直接的な $O(N\log N)$ 変換により、ナイキストレートでの即時再構成が可能となり、最小限の計算コストでリアルタイムプレビューが生成される。
• 同じ測定値は、後にスパarsityを促進する圧縮回復法を用いて強化される。
• 3DTVモデルにより、高精度な動画再構成が可能となり、高価なオプティカルフロー推定や事前処理を不要にする。
• プライマル・デュアル数値手法を用いて、FPGA実装に適した効率的で並列処理可能な再構成が実現される。
• リアルタイムプレビューと高精細なオフライン強化を分離することで、埋め込みシステム上でのリアルタイム動作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 圧縮測定値は、ナイキストレートでの即時再構成が可能でありながら、その後にスーパーレゾリューション強化が可能か？
• RQ2 時間分解能を損なわず、データ負荷を増加させずに、圧縮動画における運動アリasingをどのように低減できるか？
• RQ3 同一の測定値を用いて、リアルタイムプレビューと高分解能圧縮再構成の両方をサポートできる一貫したセンシングフレームワークを構築できるか？
• RQ4 スパarsityに基づく回復によって、動画再構成においてどの程度ナイキスト制限を「上回る」ことができるか？
• RQ5 埋め込みプラットフォーム上でリアルタイム圧縮動画再構成が可能な、効率的で並列処理可能な数値手法を設計できるか？

主な発見

• STONE変換により、5%のサンプリングで64×64のプレビューを即時再構成可能であり、フル解像度再構成と比較して運動アリasingが低減された。
• 1%のサンプリングレートでも、圧縮再構成が非圧縮手法よりも高い時間分解能と低い運動アリasingを達成した。
• 同じ5%のサンプリングデータから得られた圧縮再構成は、64×64プレビューと比較して顕著に詳細が豊富であり、スーパーレゾリューション能力を実証した。
• 3DTVモデルにより、オプティカルフロー推定を不要とし、計算オーバーヘッドを低減した高品質な動画再構成が実現された。
• 提案された数値手法は実装が簡単であり、FPGAのような並列アーキテクチャに適しており、リアルタイムデプロイメントを可能にした。
• シングルピクセル検出器を用いたリアルタイム圧縮動画カメラが実際に実証され、同じデータストリームから高速プレビューと高分解能強化の両方が達成された。