[논문 리뷰] RLFC: Random Access Light Field Compression using Key Views.

Srihari Pratapa, Dinesh Manocha|arXiv (Cornell University)|2018. 05. 15.

Advanced Vision and Imaging참고 문헌 8인용 수 4

한 줄 요약

RLFC는 시야 간 부재를 활용하기 위해 트리 구조 표현을 사용하는 계층적 라이트 필드 압축 기법으로, 경계가 있는 정수 시퀀스 인코딩을 통해 무작위 액세스와 빠른 하드웨어 디코딩을 가능하게 한다. 40–50 dB PSNR 범위에서 20:1에서 200:1의 압축 비율을 달성하며, 채널당 1미크로초 미만의 디코딩 시간과 512×512 해상도에서 200 fps 렌더링을 지원한다.

ABSTRACT

We present a new hierarchical compression scheme for encoding light field images (LFI) that is suitable for interactive rendering. Our method (RLFC) exploits redundancies in the light field images by constructing a tree structure. The top level (root) of the tree captures the common high-level details across the LFI, and other levels (children) of the tree capture specific low-level details of the LFI. Our decompressing algorithm corresponds to tree traversal operations and gathers the values stored at different levels of the tree. Furthermore, we use bounded integer sequence encoding which provides random access and fast hardware decoding for compressing the blocks of children of the tree. We have evaluated our method for 4D two-plane parameterized light fields. The compression rates vary from 0.08 - 2.5 bits per pixel (bpp), resulting in compression ratios of around 200:1 to 20:1 for a PSNR quality of 40 to 50 dB. The decompression times for decoding the blocks of LFI are 1 - 3 microseconds per channel on an NVIDIA GTX-960 and we can render new views with a resolution of 512X512 at 200 fps. Our overall scheme is simple to implement and involves only bit manipulations and integer arithmetic operations.

연구 동기 및 목표

• 낮은 지연 시간을 갖는 인터랙티브 렌더링을 위한 라이트 필드 이미지 효율적 압축에 도전한다.
• 4D 라이트 필드에서 다수의 시야 간 부재를 줄이면서도 높은 시각적 품질을 유지한다.
• 실시간 응용을 위한 무작위 액세스와 빠른 하드웨어 디코딩을 가능하게 한다.
• 비트 연산과 정수 산술만을 사용하는 단순한 비트 병렬 압축 기법을 개발한다.

제안 방법

• 이 방법은 라이트 필드 전반에 걸쳐 공통적인 고수준 특징을 캡처하는 루트로 계층적 트리 구조를 구성한다.
• 자식 노드는 시야별로 고유한 저수준 세부 정보를 저장하여 재구성된 시야의 점진적 정밀화를 가능하게 한다.
• 자식 블록 데이터를 압축하기 위해 경계가 있는 정수 시퀀스 인코딩 기법을 적용하여 무작위 액세스와 빠른 디코딩을 지원한다.
• 디코딩 중 트리 순회를 통해 다양한 수준의 값을 집계하여 전체 라이트 필드를 재구성한다.
• 이 기법은 비트 조작과 정수 산술만을 사용하므로 효율적인 하드웨어 구현이 가능하다.
• 표준 압축 메트릭을 사용하여 4D 두 평면 매개변수화 라이트 필드에서 이 방법을 평가한다.

실험 결과

연구 질문

• RQ1 계층적 트리 기반 압축 모델은 라이트 필드 이미지의 시야 간 부재를 효과적으로 활용할 수 있는가?
• RQ2 정수 산술을 사용할 때 라이트 필드 압축에서 무작위 액세스와 빠른 디코딩는 얼마나 효율적으로 달성될 수 있는가?
• RQ3 최소한의 계산 오버헤드로 어떤 압축 비율과 시각적 품질을 달성할 수 있는가?
• RQ4 이 방법은 인터랙티브 응용을 위한 고프레임레이트 실시간 렌더링을 지원할 수 있는가?
• RQ5 낮은 비트레이트를 달성하면서도 이 기법이 높은 PSNR를 얼마나 잘 유지하는가?

주요 결과

• 이 방법은 PSNR 40 dB에서 50 dB 사이에서 20:1에서 200:1의 압축 비율을 달성한다.
• 압축 비율은 1픽셀당 0.08에서 2.5 비트 사이로, 높은 효율성을 나타낸다.
• NVIDIA GTX-960 GPU에서 채널당 1~3 마이크로초의 디코딩 시간을 기록한다.
• 시스템은 512×512 해상도의 뷰를 200 fps로 실시간으로 렌더링할 수 있다.
• 실제로 매우 효율적인 기법으로, 비트 조작과 정수 산술만을 기반으로 한다.
• 무작위 액세스가 가능하며, 단순성 덕분에 하드웨어 가속에 매우 적합하다.