[논문 리뷰] Fast and Efficient Lenslet Image Compression

Hadi Amirpour, António Pinheiro외 2명|arXiv (Cornell University)|2019. 01. 27.

Advanced Vision and Imaging참고 문헌 23인용 수 4

한 줄 요약

이 논문은 새로운 GOP 구조와 CTU 깊이 예측을 갖춘 뱀형 스캔 가짜 시퀀스로 하위 광폭 이미지를 정렬하여 HEVC를 이용한 빠르고 효율적인 렌즈렛 이미지 압축 방법을 제안한다. 이미지를 네 개의 영역으로 나누고 중심 시점을 기준으로 삼으며, 병렬 인코딩을 가능하게 함으로써 인코딩 시간을 최대 80% 감소시키면서도 최신 기술들보다 레이트-/distortion 효율성이 뛰어나면서도 품질 손실가 최소화된다.

ABSTRACT

Light field imaging is characterized by capturing brightness, color, and directional information of light rays in a scene. This leads to image representations with huge amount of data that require efficient coding schemes. In this paper, lenslet images are rendered into sub-aperture images. These images are organized as a pseudo-sequence input for the HEVC video codec. To better exploit redundancy among the neighboring sub-aperture images and consequently decrease the distances between a sub-aperture image and its references used for prediction, sub-aperture images are divided into four smaller groups that are scanned in a serpentine order. The most central sub-aperture image, which has the highest similarity to all the other images, is used as the initial reference image for each of the four regions. Furthermore, a structure is defined that selects spatially adjacent sub-aperture images as prediction references with the highest similarity to the current image. In this way, encoding efficiency increases, and furthermore it leads to a higher similarity among the co-located Coding Three Units (CTUs). The similarities among the co-located CTUs are exploited to predict Coding Unit depths.Moreover, independent encoding of each group division enables parallel processing, that along with the proposed coding unit depth prediction decrease the encoding execution time by almost 80% on average. Simulation results show that Rate-Distortion performance of the proposed method has higher compression gain than the other state-of-the-art lenslet compression methods with lower computational complexity.

연구 동기 및 목표

• 빛장치 카메라에서 발생하는 렌즈렛 이미지의 높은 데이터 볼륨이 실용적 구현을 어렵게 하므로 이를 해결하고자 한다.
• 하위 광폭 이미지 간의 공간적 및 각도적 부족함을 활용하여 렌즈렛 이미지의 압축 효율을 향상시키고자 한다.
• 레이트-디스토션 성능을 희생시키지 않은 채 인코딩 복잡도를 감소시키고자 한다.
• 하위 광폭 이미지 그룹을 분리함으로써 렌즈렛 압축에서 병렬 처리를 가능하게 하고자 한다.

제안 방법

• 원시 렌즈렛 데이터에서 하위 광폭 이미지를 렌더링하고 HEVC 영상 인코딩을 위한 가짜 시퀀스로 정렬한다.
• 하위 광폭 이미지를 네 개의 공간적 영역으로 묶어 뱀형 스캔 순서를 도입함으로써 예측 거리를 감소시킨다.
• 각 영역의 초기 기준으로 가장 중심에 위치한 하위 광폭 이미지를 사용하여 인접한 시야와의 유사성을 극대화한다.
• 유사도 기반으로 공간적으로 인접한 하위 광폭 이미지를 예측 기준으로 선택하는 새로운 GOP 구조를 도입하여 예측 정확도를 향상시킨다.
• 공유 위치의 코딩 유닛 간 유사성을 활용하여 유사성 예측을 수행하는 CTU 깊이 예측 방법을 제안한다.
• 각 영역의 독립적 인코딩을 통해 병렬 처리를 가능하게 하여 총 인코딩 시간을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 그룹화된 하위 광폭 이미지 간의 뱀형 스캔 순서가 렌즈렛 압축에서 예측 효율을 향상시키는가?
• RQ2 각 그룹의 기준으로 중심 하위 광폭 이미지를 사용할 경우 레이트-디스토션 성능에 어떤 영향을 미치는가?
• RQ3 공유 위치의 단위 유사성 기반 CTU 깊이 예측이 얼마나 많은 인코딩 복잡도 감소를 이룰 수 있는가?
• RQ4 독립적 영역 인코딩이 렌즈렛 압축에서 효과적인 병렬 처리를 가능하게 하는가?
• RQ5 기존 최신 기술들과 비교해 본다면 제안된 방법은 레이트-디스토션 및 복잡도 측면에서 어떻게 성능을 내는가?

주요 결과

• 테스트 시퀀스 전반에서 평균 79.06%에서 80.74%의 인코딩 시간 감소(ΔTp)를 달성하였으며, 평균 감소율은 80.13%였다.
• CTU 깊이 예측 방법을 사용할 경우 병렬 처리 없이도 평균 37.07%의 계산 복잡도 감소(ΔTs)를 기록하였다.
• 4:2:2 색채널 샘플링 조건에서 LAP, MuLe, WasP를 초월하는 레이트-디스토션 성능을 확보하였으며, 평균 BDPSNR는 -0.0132 dB, BDBR는 0.5495%였다.
• SSIM 및 PSNR-Y 곡선을 통해 품질 손실가 극히 미미한 수준을 유지하면서도 기준 지그재그 스캔 및 다른 최신 기술들보다 뛰어난 성능을 보였다.
• 중앙 하위 광폭 이미지를 기준으로 하고, 공간적으로 인접한 이미지를 참조로 사용함으로써 예측 정확도가 향상되어 더 뛰어난 압축 효율성을 달성하였다.
• 독립적 영역 인코딩 덕분에 효과적인 병렬 처리가 가능해져, 실시간 또는 고처리량 응용 분야에 매우 적합한 메서드가 되었다.