[논문 리뷰] Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression

Mu Li, Kede Ma외 2명|arXiv (Cornell University)|2021. 12. 25.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 종단간 딥 뉴럴 네트워크 기반 360° 이미지 압축을 위한 가짜 원통형 컨볼루션과 학습 가능한 가짜 원통형 표현을 제안한다. 구면에서 평면으로의 매핑을 재구성하여 왜곡을 줄이고, 가짜 원통형 패딩을 통해 효율적인 컨볼루션을 가능하게 함으로써, 19,790장의 이미지 전반에서 우수한 비트 전달률-왜곡 성능과 시각적 품질을 달성하였다. VSSIM 기준 최대 25.86%의 BD-비트 전달률 절감과 BD-엔트로피 기준 13.97%의 절감을 기록하여 ERP 및 기타 투영 방식을 능가하였다.

ABSTRACT

Although equirectangular projection (ERP) is a convenient form to store omnidirectional images (also known as 360-degree images), it is neither equal-area nor conformal, thus not friendly to subsequent visual communication. In the context of image compression, ERP will over-sample and deform things and stuff near the poles, making it difficult for perceptually optimal bit allocation. In conventional 360-degree image compression, techniques such as region-wise packing and tiled representation are introduced to alleviate the over-sampling problem, achieving limited success. In this paper, we make one of the first attempts to learn deep neural networks for omnidirectional image compression. We first describe parametric pseudocylindrical representation as a generalization of common pseudocylindrical map projections. A computationally tractable greedy method is presented to determine the (sub)-optimal configuration of the pseudocylindrical representation in terms of a novel proxy objective for rate-distortion performance. We then propose pseudocylindrical convolutions for 360-degree image compression. Under reasonable constraints on the parametric representation, the pseudocylindrical convolution can be efficiently implemented by standard convolution with the so-called pseudocylindrical padding. To demonstrate the feasibility of our idea, we implement an end-to-end 360-degree image compression system, consisting of the learned pseudocylindrical representation, an analysis transform, a non-uniform quantizer, a synthesis transform, and an entropy model. Experimental results on $19,790$ omnidirectional images show that our method achieves consistently better rate-distortion performance than the competing methods. Moreover, the visual quality by our method is significantly improved for all images at all bitrates.

연구 동기 및 목표

• 360° 이미지 압축에서 등방위 투영(ERP)의 비균일 샘플링 및 왜곡 문제를 해결하기 위해.
• 비율-왜곡 손실을 최소화하면서도 계산 효율성을 유지하는 기울기 가능하고 학습 가능한 지ap 투영을 설계하기 위해.
• 비직선 360° 표현에 직접 작동할 수 있는 표준 CNN을 가능하게 하는 가짜 원통형 컨볼루션을 개발하기 위해.
• 제안된 표현과 레이어를 사용하여 시각적 품질과 비트 전달률 효율성에 최적화된 종단간 딥 러닝 압축 시스템을 구축하기 위해.
• 학습 가능한 가짜 원통형 표현과 컨볼루션 기반 방법이 기존의 ERP 및 타일링 투영 방식보다 비트 전달률 및 시각적 품질 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 위도에 따라 스케일링이 적용되는 가짜 원통형 표현을 제안하여 지도 투영의 일반화로 삼으며, 면적과 각도 왜곡을 균형 잡기 위해 사용한다.
• 비용 함수 기반의 비용 최소화를 위해 프록시 비트 전달률-왜곡 목표를 사용하는 탐욕 알고리즘을 도입하여 왜곡을 최소화하고 비트 전달률을 통제한다.
• 변환된 360° 이미지 격자에서 표준 컨볼루션 연산을 가능하게 하는 새로운 '가짜 원통형 패딩' 기법을 활용해 가짜 원통형 컨볼루션을 설계한다.
• 표준 종단간 압축 프레임워크를 활용한다: 분석 변환, 비균일 양자화, 복원 변환, 엔트로피 모델 모두 학습된 가짜 원통형 표현에서 작동한다.
• VMSE 기반 왜곡 측정법을 사용하고 전체 시스템의 공동 최적화를 통해 비트 전달률-왜곡 성능을 향상시킨다.
• 19,790장의 360° 이미지로 구성된 대규모 데이터셋을 활용하여 ERP, 시누소이드 타일링, 타일링 표현과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기울기 가능하고 학습 가능한 가짜 원통형 지도 투영이 기존의 표준 ERP 방식보다 왜곡을 줄이고 압축 효율을 향상시킬 수 있는가?
• RQ2 제안된 가짜 원통형 컨볼루션은 계산 속도를 저하시키지 않으면서도 360° 이미지에서 효율적이고 효과적인 특징 학습을 가능하게 하는가?
• RQ3 가짜 원통형 표현과 딥 러닝 압축 네트워크의 공동 최적화가 고정된 투영 방식보다 더 나은 비트 전달률-왜곡 성능과 시각적 품질을 제공하는가?
• RQ4 제안된 방법은 압축을 넘어서 다른 360° 비전 작업으로의 확장성과 이식 가능성은 있는가?
• RQ5 비트 전달률 절감과 시각적 품질 측면에서 학습된 표현이 시누소이드 또는 타일링 투영 방식보다 어떻게 비교되는가?

주요 결과

• 최적화된 가짜 원통형 표현은 기준 방법 대비 13.97%의 BD-엔트로피 향상과 25.86%의 BD-VSSIM 향상을 달성하여 비트 전달률-왜곡 성능과 시각적 품질 측면에서 뛰어난 성능을 보였다.
• ERP 및 시누소이드 타일링 모두를 능가하였으며, 최적화된 표현은 ERP 대비 BD-BR 기준 4.30%의 비트 전달률 절감과 14.22%의 PSNR 향상을 기록하였다.
• 가짜 원통형 컨볼루션은 표준 컨볼루션과 동일한 속도를 유지하였으며, 평균적으로 0.003초의 추가 지연만을 유발하여 계산 가능성을 입증하였다.
• 제거 실험 결과, 학습된 표현과 가짜 원통형 컨볼루션 모두 필수적이며, 특히 표현 학습이 시각적 향상에 더 큰 기여를 하였다.
• 모든 비트 전달률에서 시각적 품질이 크게 향상되었으며, 모든 테스트 이미지에서 PSNR와 VSSIM에 일관된 향상이 관찰되었다.
• 기존 비디오 코덱과의 통합 잠재력이 높고, 호환성과 효율성 덕분에 보다 넓은 360° 비전 응용 분야로의 확장 가능성이 뚜렷하였다.