[論文レビュー] Compressive Coded Aperture Keyed Exposure Imaging with Optical Flow Reconstruction

Zachary T. Harmany, Roummel F. Marcia+1 more|arXiv (Cornell University)|Jun 26, 2013

Photoacoustic and Ultrasonic Imaging参考文献 56被引用数 6

ひとこと要約

本稿では、符号化アパーチャとキーディッド露出を用いた圧縮動画撮影システムを提案し、物理的サイズが小さく、光子効率が高く、高時間分解能の動画再構成を実現する。光学フローのモデリングと二重スケールマスクを活用することで、制限等方性性質（RIP）による理論的保証を伴い、少ない測定値から高速かつ正確な再構成を達成する。

ABSTRACT

This paper describes a coded aperture and keyed exposure approach to compressive video measurement which admits a small physical platform, high photon efficiency, high temporal resolution, and fast reconstruction algorithms. The proposed projections satisfy the Restricted Isometry Property (RIP), and hence compressed sensing theory provides theoretical guarantees on the video reconstruction quality. Moreover, the projections can be easily implemented using existing optical elements such as spatial light modulators (SLMs). We extend these coded mask designs to novel dual-scale masks (DSMs) which enable the recovery of a coarse-resolution estimate of the scene with negligible computational cost. We develop fast numerical algorithms which utilize both temporal correlations and optical flow in the video sequence as well as the innovative structure of the projections. Our numerical experiments demonstrate the efficacy of the proposed approach on short-wave infrared data.

研究の動機と目的

• 最小限の物理的ハードウェアで、圧縮動画撮影における高時間分解能と光子効率を達成する課題に対処すること。
• 従来の符号化アパーチャおよびキーディッド露出手法の限界を打ち破り、両技術を統合的圧縮センシングフレームワークに統合すること。
• 再構成プロセスにおいて時間的相関と光学フローのモデリングを活用することで、高速かつ正確な動画再構成を可能にすること。
• 計算コストをほとんど要せず、粗い解像度でのシーン推定を可能にする二重スケールマスク（DSM）の開発。
• 提案された測定行列に対する制限等方性性質（RIP）を用いた再構成品質の理論的保証の提供。

提案手法

• 符号化アパーチャとキーディッド露出を統合した圧縮センシングフレームワークを設計し、動画フレームを少数の測定値に多重化する。
• 制限等方性性質（RIP）を満たすために、ランダム位相マスクから導出されたトーペリッツ構造測定行列を用い、安定した回復を保証する。
• 動画をブロックにダウンサンプリングし、低解像度マスクを用いてブロック平均輝度を推定することで、粗い再構成を可能にする二重スケールマスク（DSM）を導入する。
• 時間的整合性を活用するため、光学フロー制約を組み込んだ凸最適化問題を定式化する。
• 時間的相関、光学フロー、および投影の構造的性質を共同で活用する高速数値アルゴリズムを開発し、効率的な再構成を実現する。
• 空間的光変調器（SLM）を用いて、符号化マスクとキーディッド露出を物理的に実装可能なプラットフォームに実装する。

実験結果

リサーチクエスチョン

• RQ1 符号化アパーチャとキーディッド露出を用いた圧縮動画撮影システムは、物理的サイズが小さく、高時間分解能かつ光子効率に優れた動画再構成を達成できるか？
• RQ2 提案された測定行列に対して、制限等方性性質（RIP）をどのように確立し、再構成品質に対する理論的保証を確保できるか？
• RQ3 二重スケールマスクは、計算コストをほとんど要せず、動画シーケンスの粗い解像度推定を可能にするか？また、これにより再構成効率はどのように向上するか？
• RQ4 限られた測定値を持つ圧縮動画システムにおいて、光学フローのモデリングは再構成精度をどの程度向上できるか？
• RQ5 提案されたアルゴリズムは、実世界の短波長赤外動画データに対してどのように動作するか？また、再構成品質と計算コストのトレードオフはいかなるものか？

主な発見

• 提案された測定行列は、高い確率で制限等方性性質（RIP）を満たしており、少数の圧縮測定値からも安定的かつ頑健な動画再構成を保証する。
• 二重スケールマスク（DSM）は、フル再構成と比較して計算コストがほとんどないため、高速な初期推定を可能にし、粗い解像度でのシーケンス推定を実現する。
• 光学フロー制約を組み込んだ再構成アルゴリズムは、動画シーケンス内の時間的相関を活用することで、再構成精度を顕著に向上させる。
• 短波長赤外データを用いた数値実験により、本手法の有効性が実証され、少ない測定値と低いノイズ増幅で高品質な動画再構成が達成された。
• 構造的行列と問題の固有のスパarsityおよび時間的構造を活用する最適化技術のおかげで、再構成速度が著しく高速化された。
• 粗い推定の残差誤差は小さく、滑らかな動画シーケンスにおけるエネルギー分布のおかげで、再構成誤差の2次項が予想されるほど小さくなる。