[논문 리뷰] Quadtree Driven Lossy Event Compression

Srutarshi Banerjee, Zihao W. Wang외 3명|arXiv (Cornell University)|2020. 05. 02.

Advanced Memory and Neural Computing참고 문헌 34인용 수 2

한 줄 요약

이 논문은 인접한 강도 이미지에서 유도된 4분할 트리(quadtree, QT) 기반 분할 맵을 활용하여 공간적 및 시간적 이벤트 샘플링의 우선순위를 정하는 새로운 손실 압축 알고리즘인 포아송 디스크 샘플링 기반 손실 이벤트 압축(Poisson Disk Sampling-based Lossy Event Compression, PDS-LEC)을 제안한다. QT 기반 공간 우선순위에 따라 안내되는 포아송 디스크 샘플링을 적용한 후, 차분 및 런레ング스 인코딩에 히프만 인코딩을 적용함으로써, 최신 기술 대비 6배 이상의 압축 성능 향상을 달성하면서도 비율-왜곡 최적성(rate-distortion optimality)을 유지한다.

ABSTRACT

With several advantages over conventional RGB cameras, event cameras have provided new opportunities for tackling visual tasks under challenging scenarios with fast motion, high dynamic range, and/or power constraint. Yet unlike image/video compression, the performance of event compression algorithm is far from satisfying and practical. The main challenge for compressing events is the unique event data form, i.e., a stream of asynchronously fired event tuples each encoding the 2D spatial location, timestamp, and polarity (denoting an increase or decrease in brightness). Since events only encode temporal variations, they lack spatial structure which is crucial for compression. To address this problem, we propose a novel event compression algorithm based on a quad tree (QT) segmentation map derived from the adjacent intensity images. The QT informs 2D spatial priority within the 3D space-time volume. In the event encoding step, events are first aggregated over time to form polarity-based event histograms. The histograms are then variably sampled via Poisson Disk Sampling prioritized by the QT based segmentation map. Next, differential encoding and run length encoding are employed for encoding the spatial and polarity information of the sampled events, respectively, followed by Huffman encoding to produce the final encoded events. Our Poisson Disk Sampling based Lossy Event Compression (PDS-LEC) algorithm performs rate-distortion based optimal allocation. On average, our algorithm achieves greater than 6x compression compared to the state of the art.

연구 동기 및 목표

• 이벤트 데이터의 공간적 구조 부족으로 인해 효과적인 압축이 어려운 문제를 해결하기 위해.
• 고속, 고다이나믹 레인지, 저전력 응용 분야에서 점점 더 널리 사용되고 있는 이벤트 카메라의 압축 효율을 향상시키기 위해.
• 이벤트 스트림의 이방향성, 희소성 특성에 맞는 비율-왜곡 최적의 압축 프레임워크를 개발하기 위해.
• 인접한 강도 이미지의 공간적 맥락을 4분할 트리 분할을 통해 이벤트 압축에 통합하기 위해.

제안 방법

• 인접한 강도 이미지에서 4분할 트리(quadtree, QT) 기반 분할 맵을 생성하여 3차원 시공간 부피 내의 2차원 공간 우선순위를 정의한다.
• 샘플링 이전에 데이터 양을 줄이기 위해 시간 간격 동안 이벤트를 극성 기반 히스토GRAM으로 집계한다.
• QT 맵에 기반한 우선순위에 따라 포아송 디스크 샘플링을 적용하여 균일한 공간 분포를 확보하면서도 시각적으로 중요한 영역을 유지한다.
• 샘플된 이벤트의 공간 좌표를 인코딩하기 위해 차분 인코딩을 사용하여 중복을 줄인다.
• 샘플된 이벤트의 극성 순서에 대해 런레ング스 인코딩을 적용하여 시간 패턴을 압축한다.
• 최종 이벤트 표현에 대해 히프만 인코딩을 적용하여 엔트로피 인코딩을 구현하고 압축 비트스트림을 생성한다.

실험 결과

연구 질문

• RQ1 강도 이미지에서 유도된 공간적 구조를 어떻게 효과적으로 활용하여 이벤트 압축을 향상시킬 수 있는가?
• RQ2 4분할 트리 기반 공간 분할이 이벤트 압축의 비율-왜곡 성능을 향상시키는가?
• RQ3 공간 우선순위를 적용한 포아송 디스크 샘플링이 손실 이벤트 압축에서 균일 또는 무작위 샘플링보다 우월한가?
• RQ4 차분 인코딩과 런레ング스 인코딩이 압축된 이벤트 데이터의 중복을 얼마나 효과적으로 줄일 수 있는가?
• RQ5 4분할 트리 기반, 비율-왜곡 최적의 이벤트 압축 프레임워크는 어떤 정도의 압축 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 PDS-LEC 알고리즘은 최신 기술 대비 평균적으로 6배 이상의 압축 비율을 달성한다.
• 4분할 트리 유도 공간 우선순위의 통합은 압축된 이벤트의 시각적 품질과 비율-왜곡 효율을 크게 향상시킨다.
• QT 기반 우선순위를 적용한 포아송 디스크 샘플링은 균일한 공간 샘플링을 보장하면서도 고활동 영역을 유지한다.
• 차분 인코딩, 런레ング스 인코딩, 히프만 인코딩의 조합은 공간 및 극성 영역에서의 중복을 효과적으로 줄인다.
• 공간 중요도에 따라 비트 할당을 적응적으로 조절할 수 있도록 함으로써 비율-왜곡 최적성(rate-distortion optimality)을 입증한다.