[論文レビュー] Fast Integral Image Estimation at 1% measurement rate

Kuldeep Kulkarni, Pavan Turaga|arXiv (Cornell University)|Jan 27, 2016

Sparse and Compressive Sensing Techniques参考文献 30被引用数 5

ひとこと要約

本稿では、空間多重測定の1%のみを用いて、特化した測定行列と線形作用素を用いて反復的再構成を回避し、直接的に積分画像を推定するフレームワークReFInEを提案する。ウェーブレットベースの事前分布と2次円錐制約を組み合わせた核ノルム最小化定式化により、超低測定レートでも最先端の物体追跡性能を達成する。

ABSTRACT

We propose a framework called ReFInE to directly obtain integral image estimates from a very small number of spatially multiplexed measurements of the scene without iterative reconstruction of any auxiliary image, and demonstrate their practical utility in visual object tracking. Specifically, we design measurement matrices which are tailored to facilitate extremely fast estimation of the integral image, by using a single-shot linear operation on the measured vector. Leveraging a prior model for the images, we formulate a nuclear norm minimization problem with second order conic constraints to jointly obtain the measurement matrix and the linear operator. Through qualitative and quantitative experiments, we show that high quality integral image estimates can be obtained using our framework at very low measurement rates. Further, on a standard dataset of 50 videos, we present object tracking results which are comparable to the state-of-the-art methods, even at an extremely low measurement rate of 1%.

研究の動機と目的

• 空間多重カメラ（SMCs）における反復的再構成の計算ボトル neck を軽減し、測定値から直接推論を可能にする。
• 圧縮センシングにおける擬似ランダム測定の限界を克服し、アプリケーション固有の非ランダム測定行列を設計する。
• 高品質な積分画像推定に必要な測定数を最小限に抑えつつ、物体追跡などの下流ビジョンタスクの正確性を保証する。
• 画像再構成を回避し、積分画像などの有用な表現を直接推定することで、超低センシングレートでもリアルタイムコンピュータビジョンを実現する。

提案手法

• 測定行列のランクを最小化し、測定値から近似的な積分画像をマップする線形作用素を学習するための連合最適化問題を定式化する。
• 自然画像のウェーブレット係数に多変量一般化ガウス分布（MGGD）事前分布を組み込み、画像構造をモデル化する。
• 推定誤差の確率的制約を2次円錐制約に緩和し、凸最適化を可能にする。
• NP困難な問題を効率的に解くために、ランク最小化の凸近似として核ノルム最小化を用いる。
• 凸最適化を用いて、積分画像の1ショット線形推定を可能にする専用の測定行列と線形作用素を設計する。
• FCT（ハール特徴ベースのトラッカー）に推定された積分画像を直接適用することで、フレームワークを物体追跡に応用し、完全な画像再構成を回避する。

実験結果

リサーチクエスチョン

• RQ1 反復的画像再構成を経ずに、少量の空間多重測定から積分画像を直接推定できるか？
• RQ2 特化した測定行列と線形作用素を同時に最適化することで、超低測定レートでも高品質な積分画像推定が可能になるか？
• RQ3 ReFInEの測定値から直接推定された積分画像は、リソース制約下でフル解像度再構成よりも優れた追跡性能を示すか？
• RQ4 フル解像度データが利用できない1%の測定レートでも、提案フレームワークは最先端の追跡手法を上回る性能を発揮できるか？

主な発見

• 測定レート1%（実効測定レート8.16%）において、ReFInEは物体追跡の平均精度を54.83%に達成し、フル解像度画像上で動作する「Oracle FCT」トラッカー（54.83%）を12.46ポイント上回る。
• 0.2%の測定レート（EMR 1.63%）でも精度は45.79%を維持し、同ベースラインを3.42ポイント上回る。
• ReFInEベースのトラッカーは、高解像度動画で約20 FPSで動作し、より大きなサーチスペースがあるにもかかわらず、ニアリアルタイム性能を満たす。
• フレームワークは、元の画像サイズの2–8%のわずかなデータ量で優れた追跡精度を達成しており、注意深く設計された測定が推論タスクにおいてフル解像度データを上回ることを示している。
• 2次円錐制約を組み合わせた核ノルム最小化は、推定精度と計算効率の両立に成功している。
• 本手法は完全に反復的再構成を回避し、圧縮測定値から高速で1ショット線形推定による積分画像推定を実現している。