[論文レビュー] A Compressive Sensing Video dataset using Pixel-wise coded exposure

Sathyaprakash Narayanan, Yeshwanth Bethi+1 more|arXiv (Cornell University)|May 24, 2019

Sparse and Compressive Sensing Techniques参考文献 9被引用数 4

ひとこと要約

本論文は、圧縮センシングのためのピクセル単位のコード露出を用いて圧縮された、最初の包括的な動画データセットを紹介する。このデータセットは、オブジェクトの追跡と局所化を保持しつつ、動画データの効率的な保存と処理を可能にする。スパarsityと不整合性の原則を活用して、Kフレームを1つの圧縮フレームに統合することで、完全な再構成なしに、圧縮データ上で直接オブジェクト検出、追跡、再構成のエンドツーエンド研究を可能にする。YOLOベースの疑似ラベル付けによる最小限の人的ラベリングで実現される。

ABSTRACT

Manifold amount of video data gets generated every minute as we read this document, ranging from surveillance to broadcasting purposes. There are two roadblocks that restrain us from using this data as such, first being the storage which restricts us from only storing the information based on the hardware constraints. Secondly, the computation required to process this data is highly expensive which makes it infeasible to work on them. Compressive sensing(CS)[2] is a signal process technique[11], through optimization, the sparsity of a signal can be exploited to recover it from far fewer samples than required by the Shannon-Nyquist sampling theorem. There are two conditions under which recovery is possible. The first one is sparsity which requires the signal to be sparse in some domain. The second one is incoherence which is applied through the isometric property which is sufficient for sparse signals[9][10]. To sustain these characteristics, preserving all attributes in the uncompressed domain would help any kind of in this field. However, existing dataset fallback in terms of continuous tracking of all the object present in the scene, very few video datasets have comprehensive continuous tracking of objects. To address these problems collectively, in this work we propose a new comprehensive video dataset, where the data is compressed using pixel-wise coded exposure [3] that resolves various other impediments.

研究の動機と目的

• 高コストなストレージと計算リソースの増大に伴う、膨大な動画データの保存と処理の課題に対処すること。
• 既存の動画データセットが、シーン内のすべてのオブジェクトに対して継続的なオブジェクト追跡と包括的なラベリングを欠いているという制限を克服すること。
• 圧縮センシングにおける動画処理のための新しいベンチマークデータセットを構築し、完全な再構成なしに圧縮フレーム上で直接処理を可能にすること。
• 不正なユーザーがコンテンツを特定できないように、動きの情報を埋め込むことでプライバシー保護型の動画分析を実現すること。
• 低複雑性で高効率な圧縮センシングを用いた今後の動画処理研究の基盤を確立すること。

提案手法

• モノクロ動画を、静止オブジェクトに背景が動く、動くオブジェクトに背景が静止する、両方が動くという異なる運動状態で撮影し、単一のオブジェクト（人物および車両）の動画を収集する。
• 信号のスパarsityと不整合性を活用して、K個の連続フレームを1つの圧縮フレームに圧縮するピクセル単位のコード露出を用いる。
• 各フレームの初期バウンディングボックスを事前学習済みのYOLO v3モデルで生成し、その後、最小値/最大値座標プーリングを用いて圧縮ドメイン内で大きなバウンディングボックスに統合する。
• 人的ラベル付けの負荷を軽減するため、疑似ラベル付けを採用：VATICでYOLOが生成したボックスを手動で修正し、圧縮フレーム用の高品質な真値ラベルを生成する。
• 配列データの効率的な保存のためNPZ形式、ラベルメタデータの構造化のためJSON形式でデータを保存し、クラスID、フレーム番号、バウンディングボックス座標を含む。
• データセットには284本の車両クリップと91本の人物クリップが含まれ、合計で約90分間の映像をカバーしており、多様なアスペクト比と運動ダイナミクスを含む。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位のコード露出による圧縮が施された動画データセットは、完全な再構成なしに正確なオブジェクト検出と追跡を可能にするか？
• RQ2 圧縮センシングドメインにおける真値ラベル生成に、YOLO v3を用いた疑似ラベル付けはどの程度効果的か？
• RQ3 ピクセル単位のコード露出は、圧縮フレームにおけるオブジェクト局所化に必要な空間的・時間的情報をどの程度保持しているか？
• RQ4 圧縮センシングに基づく動画データセットは、計算コストとストレージコストを削減しながら、追跡や認識といった下流タスクの有用性を維持できるか？
• RQ5 オブジェクトと背景の両方が動く多様な運動パターンが、圧縮フレーム上で直接処理を行うアルゴリズムの性能にどのように影響を与えるか？

主な発見

• データセットは284本の車両クリップと91本の人物クリップを含み、合計で約90分間のモノクロ動画であり、多様な運動ダイナミクスとアスペクト比を有する。
• YOLO v3を用いた疑似ラベル付けにより人的ラベル付けの負荷が顕著に軽減され、VATICにおける人為的検証によりボックスのタイトネスが向上し、見逃されたオブジェクトの検出も可能になった。
• Kフレームにわたるバウンディングボックスを圧縮フレーム内に1つの大きなボックスに統合することで、CSドメイン内での一貫性のある局所化と追跡が可能になった。
• ピクセル単位のコード露出の使用により、K倍の圧縮率が達成され、ストレージと処理のニーズがK分の1に削減されつつ、動きとオブジェクト構造が保持された。
• 本データセットは、圧縮センシングにおける動画処理を専用にした最初のデータセットであり、低複雑性・プライバシー保護型の動画分析研究の基盤を提供する。
• 今後のリリースでは、より高い圧縮率、密度の高い動画、セグメンテーションやポーズ推定などの追加ラベルが含まれる予定である。