[论文解读] Quadtree Driven Lossy Event Compression

Srutarshi Banerjee, Zihao W. Wang+3 more|arXiv (Cornell University)|May 2, 2020

Advanced Memory and Neural Computing参考文献 34被引用 2

一句话总结

本文提出了一种新颖的有损事件压缩算法——基于泊松盘采样的有损事件压缩（PDS-LEC），该算法利用相邻灰度图像生成的四叉树（QT）衍生分割图，对空间和时间事件采样进行优先级划分。通过基于QT空间优先级的泊松盘采样，再结合差分编码与游程编码及霍夫曼编码，该方法在保持率失真最优性的同时，相较现有最先进方法实现了超过6倍的压缩增益。

ABSTRACT

With several advantages over conventional RGB cameras, event cameras have provided new opportunities for tackling visual tasks under challenging scenarios with fast motion, high dynamic range, and/or power constraint. Yet unlike image/video compression, the performance of event compression algorithm is far from satisfying and practical. The main challenge for compressing events is the unique event data form, i.e., a stream of asynchronously fired event tuples each encoding the 2D spatial location, timestamp, and polarity (denoting an increase or decrease in brightness). Since events only encode temporal variations, they lack spatial structure which is crucial for compression. To address this problem, we propose a novel event compression algorithm based on a quad tree (QT) segmentation map derived from the adjacent intensity images. The QT informs 2D spatial priority within the 3D space-time volume. In the event encoding step, events are first aggregated over time to form polarity-based event histograms. The histograms are then variably sampled via Poisson Disk Sampling prioritized by the QT based segmentation map. Next, differential encoding and run length encoding are employed for encoding the spatial and polarity information of the sampled events, respectively, followed by Huffman encoding to produce the final encoded events. Our Poisson Disk Sampling based Lossy Event Compression (PDS-LEC) algorithm performs rate-distortion based optimal allocation. On average, our algorithm achieves greater than 6x compression compared to the state of the art.

研究动机与目标

• 为解决事件数据中缺乏空间结构的问题，该问题阻碍了有效压缩。
• 提升事件相机的压缩效率，此类相机在高速、高动态范围及低功耗应用中正日益普及。
• 开发一种针对事件流异步、稀疏特性的率失真最优压缩框架。
• 通过四叉树分割，将相邻灰度图像中的空间上下文信息整合到事件压缩中。

提出的方法

• 从相邻灰度图像生成四叉树（QT）分割图，以在三维时空体积分区内定义二维空间优先级。
• 将事件按时间聚合为基于极性的直方图，以在采样前减少数据量。
• 基于QT图的空间优先级应用泊松盘采样，确保均匀的空间分布同时保留感知重要区域。
• 使用差分编码对采样事件的空间坐标进行编码，以减少冗余。
• 对采样事件的极性序列应用游程编码，以压缩时间模式。
• 对最终的事件表示应用霍夫曼编码，实现熵编码并生成压缩比特流。

实验结果

研究问题

• RQ1 如何有效利用灰度图像中的空间结构以提升事件压缩性能？
• RQ2 基于四叉树的空间分割能否提升事件压缩的率失真性能？
• RQ3 在有损事件压缩中，基于空间优先级的泊松盘采样是否优于均匀或随机采样？
• RQ4 差分编码与游程编码在多大程度上能减少压缩事件数据中的冗余？
• RQ5 基于四叉树驱动的、率失真最优的事件压缩框架可实现多大的压缩增益？

主要发现

• 所提出的PDS-LEC算法相较现有最先进方法，平均压缩比超过6倍。
• 将四叉树衍生的空间优先级整合后，显著提升了压缩事件的感知质量与率失真效率。
• 基于QT优先级的泊松盘采样确保了均匀的空间采样，同时保留了高活动区域。
• 差分编码、游程编码与霍夫曼编码的组合有效减少了空间域与极性域中的冗余。
• 该方法通过基于空间重要性的比特自适应分配，展现出率失真最优性。