[論文レビュー] Quadtree Driven Lossy Event Compression

Srutarshi Banerjee, Zihao W. Wang+3 more|arXiv (Cornell University)|May 2, 2020

Advanced Memory and Neural Computing参考文献 34被引用数 2

ひとこと要約

本論文では、隣接する強度画像から得られるクアッドツリー（QT）に基づくセグメンテーションマップを用いて、空間的および時間的イベントサンプリングの優先順位を定義する、新規な損失ありイベント圧縮アルゴリズム、Poissonディスクサンプリングに基づく損失ありイベント圧縮（PDS-LEC）を提案する。QTに基づく空間的優先順位に従って誘導されるPoissonディスクサンプリングを適用し、その後に微分符号化およびランレングス符号化をHuffman符号化と組み合わせることで、最先端技術よりも6倍以上の圧縮率を達成するとともに、レート・リダンドランス最適性を維持する。

ABSTRACT

With several advantages over conventional RGB cameras, event cameras have provided new opportunities for tackling visual tasks under challenging scenarios with fast motion, high dynamic range, and/or power constraint. Yet unlike image/video compression, the performance of event compression algorithm is far from satisfying and practical. The main challenge for compressing events is the unique event data form, i.e., a stream of asynchronously fired event tuples each encoding the 2D spatial location, timestamp, and polarity (denoting an increase or decrease in brightness). Since events only encode temporal variations, they lack spatial structure which is crucial for compression. To address this problem, we propose a novel event compression algorithm based on a quad tree (QT) segmentation map derived from the adjacent intensity images. The QT informs 2D spatial priority within the 3D space-time volume. In the event encoding step, events are first aggregated over time to form polarity-based event histograms. The histograms are then variably sampled via Poisson Disk Sampling prioritized by the QT based segmentation map. Next, differential encoding and run length encoding are employed for encoding the spatial and polarity information of the sampled events, respectively, followed by Huffman encoding to produce the final encoded events. Our Poisson Disk Sampling based Lossy Event Compression (PDS-LEC) algorithm performs rate-distortion based optimal allocation. On average, our algorithm achieves greater than 6x compression compared to the state of the art.

研究の動機と目的

• イベントデータに空間的構造が欠如していることによる、効果的な圧縮の困難さに対処すること。
• 高速、高ダイナミックレンジ、低消費電力なアプリケーションでますます広がるイベントカメラのための圧縮効率の向上。
• 非同期的かつスパースなイベントストリームの特性に特化した、レート・リダンドランス最適な圧縮フレームワークの開発。
• クアッドツリーによるセグメンテーションを介して、隣接する強度画像からの空間的コンテキストをイベント圧縮に統合すること。

提案手法

• 隣接する強度画像からクアッドツリー（QT）セグメンテーションマップを生成し、3次元の空間時間ボリューム内での2次元空間的優先順位を定義する。
• サンプリングの前に、データ量を削減するために時間的にイベントを極性別ヒストグラムに集約する。
• QTマップに基づく優先順位に従ってPoissonディスクサンプリングを適用し、均一な空間的分布を確保するとともに、知覚的に重要な領域を保持する。
• サンプリングされたイベントの空間座標を符号化するために微分符号化を用い、冗長性を低減する。
• サンプリングされたイベントの極性シーケンスにランレングス符号化を適用し、時間的パターンを圧縮する。
• 最終的なイベント表現にHuffman符号化を適用してエントロピー符号化を実現し、圧縮ビットストリームを生成する。

実験結果

リサーチクエスチョン

• RQ1 強度画像からの空間的構造を、どのようにして効果的にイベント圧縮に活用できるか？
• RQ2 クアッドツリーに基づく空間的セグメンテーションは、イベント圧縮のレート・リダンドランス性能を向上させることができるか？
• RQ3 空間的優先順位を備えたPoissonディスクサンプリングは、損失ありイベント圧縮において、均一またはランダムなサンプリングを上回る性能を示すか？
• RQ4 微分符号化およびランレングス符号化は、圧縮済みイベントデータの冗長性をどの程度低減できるか？
• RQ5 クアッドツリー駆動で、レート・リダンドランス最適なイベント圧縮フレームワークは、どの程度の圧縮利得を達成できるか？

主な発見

• 提案されたPDS-LECアルゴリズムは、最先端技術と比較して平均で6倍以上の圧縮比を達成した。
• クアッドツリーから導出される空間的優先順位の統合は、圧縮済みイベントの知覚的品質およびレート・リダンドランス効率を顕著に向上させた。
• QTに基づく優先順位を備えたPoissonディスクサンプリングは、均一な空間的サンプリングを確保するとともに、高活動領域を保持した。
• 微分符号化、ランレングス符号化、Huffman符号化の組み合わせは、空間領域および極性領域における冗長性を効果的に低減した。
• 空間的重要度に基づくビットの適応的割り当てを可能にすることで、本手法はレート・リダンドランス最適性を示した。