[논문 리뷰] L3C-Stereo: Lossless Compression for Stereo Images

Zihao Huang, Zhe Sun외 4명|arXiv (Cornell University)|2021. 08. 21.

Advanced Vision and Imaging참고 문헌 36인용 수 5

한 줄 요약

L3C-Stereo는 비디오 왜곡 모듈을 통해 시차 추정을 통해 왼쪽 뷰 특징을 활용하고, 픽셀 단위의 로지스틱 혼합 분포를 위한 확률 추정 모듈을 사용하여 스테레오 이미지의 학습 기반 손실 없는 압축 프레임워크를 제안한다. 이는 KITTI 2012/2015 및 Scene Flow 데이터셋에서 최신 기술 수준의 압축 성능을 달성하며, 더 높은 최대 시차에서 더 나은 압축 성능을 보이고, 후속 작업에 활용 가능한 품질의 시차 지ap을 부가적으로 생성한다.

ABSTRACT

A large number of autonomous driving tasks need high-definition stereo images, which requires a large amount of storage space. Efficiently executing lossless compression has become a practical problem. Commonly, it is hard to make accurate probability estimates for each pixel. To tackle this, we propose L3C-Stereo, a multi-scale lossless compression model consisting of two main modules: the warping module and the probability estimation module. The warping module takes advantage of two view feature maps from the same domain to generate a disparity map, which is used to reconstruct the right view so as to improve the confidence of the probability estimate of the right view. The probability estimation module provides pixel-wise logistic mixture distributions for adaptive arithmetic coding. In the experiments, our method outperforms the hand-crafted compression methods and the learning-based method on all three datasets used. Then, we show that a better maximum disparity can lead to a better compression effect. Furthermore, thanks to a compression property of our model, it naturally generates a disparity map of an acceptable quality for the subsequent stereo tasks.

연구 동기 및 목표

• 자율주행 시스템에서 고해상도 스테레오 이미지의 증가하는 저장 요구를 해결하기 위해.
• 시차 추정을 통해 상호 뷰 간의 중복성을 활용하여 스테레오 이미지의 손실 없는 압축을 향상시키기 위해.
• 압축 효율성과 시차 지압 품질을 동시에 최적화하는 딥러닝 기반 압축 모델을 개발하기 위해.
• 최대 시차 하이퍼파라미터와 감독 전략의 영향이 압축 성능에 미치는 영향을 평가하기 위해.
• 후속 스테레오 비전 작업에 활용 가능한 고품질의 시차 지압을 생성하기 위해.

제안 방법

• 모델은 왼쪽 및 오른쪽 스테레오 이미지에서 특징 맵을 추출하기 위해 다중 척도 인코더를 사용한다.
• 왜곡 모듈은 왼쪽 뷰 특징과 예측된 시차 지압을 활용하여 오른쪽 뷰를 재구성함으로써 예측 신뢰도를 향상시킨다.
• 시차 지압은 PSMNet를 영감으로 삼은 계층적, 다중 척도 구조를 사용하여 정확한 픽셀 수준의 정렬을 가능하게 한다.
• 확률 추정 모듈은 적응형 산술 압축을 위한 픽셀 단위의 로지스틱 혼합 분포를 생성한다.
• 모델은 가장 작은 척도에서 균일한 사전 확률을 사용하고, 점차적으로 저해상도에서 고해상도로 특징과 이미지를 재구성하는 계층적 엔트로피 코딩 기법을 적용한다.
• 모델은 손실 없는 재구성 유지와 함께 비트스트림 크기 최소화를 목표로 하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 시차 인식 특징 왜곡은 손실 없는 스테레오 이미지 압축을 위한 확률 추정 정확도를 향상시킬 수 있는가?
• RQ2 최대 시차 하이퍼파라미터를 증가시키면 압축 성능과 런타임에 어떤 영향을 미치는가?
• RQ3 낮은 정확도에도 불구하고 자기지도 학습 기반 시차 추정이 감독 학습보다 더 나은 압축 성능을 낼 수 있는가?
• RQ4 재구성된 오른쪽 뷰가 왼쪽 뷰만을 사용할 때보다 얼마나 더 뛰어난 압축 효율성을 보이는가?
• RQ5 부가적으로 생성된 시차 지압이 후속 스테레오 작업에 대해 충분한 품질을 확보할 수 있는가?

주요 결과

• L3C-Stereo는 KITTI 2012, KITTI 2015, Scene Flow의 세 데이터셋에서 수작업 기반 방법(PNG, WebP, FLIF)과 학습 기반 기준(L3C)을 모두 초월한다.
• 최대 시차를 증가시키면 압축 성능이 향상되지만, 과도하게 높은 값은 과적합 또는 노이즈로 인해 모델 성능을 떨어뜨린다.
• 자기지도 학습 기반 시차 추정은 감독 학습보다 더 나은 오른쪽 뷰 재구성을 이끌어내며, 특히 가림 영역에서 진짜 지표에 대한 과적합을 줄여주기 때문이다.
• 왼쪽 뷰만을 사용하는 것보다 재구성된 오른쪽 뷰가 압축 효율성에서 뚜렷한 향상을 보이며, 상호 뷰 재구성의 가치를 입증한다.
• 모델은 후속 스테레오 작업에 직접 활용 가능한 수준의 품질의 시차 지압을 부가적으로 생성한다.
• 계산 복잡도는 L3C 수준을 유지하며, FLOPs와 런타임은 다소 증가하지만, 특히 높은 시차 설정에서 그 증가 폭은 미미하다.