[논문 리뷰] Conditional Entropy Coding for Efficient Video Compression

Jerry Liu, Shenlong Wang외 5명|arXiv (Cornell University)|2020. 08. 20.

Advanced Image Processing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 깊이 있는 이미지 압축기에서 유도된 독립적인 잠재 코드 간의 조건부 엔트로피를 모델링하는 경량이며 엔트로피 중심의 비디오 압축 프레임워크를 제안한다. 이는 H.265 및 최신 딥러닝 기반 기준보다 경쟁 가능한 성능을 달성하면서도 복호화 속도가 수천 배 빠르다. 또한 복호화 시간을 늘리지 않고도 약 10% 향상된 비율-왜곡 성능을 달성하기 위해 추론 중 내부 학습을 도입한다.

ABSTRACT

We propose a very simple and efficient video compression framework that only focuses on modeling the conditional entropy between frames. Unlike prior learning-based approaches, we reduce complexity by not performing any form of explicit transformations between frames and assume each frame is encoded with an independent state-of-the-art deep image compressor. We first show that a simple architecture modeling the entropy between the image latent codes is as competitive as other neural video compression works and video codecs while being much faster and easier to implement. We then propose a novel internal learning extension on top of this architecture that brings an additional 10% bitrate savings without trading off decoding speed. Importantly, we show that our approach outperforms H.265 and other deep learning baselines in MS-SSIM on higher bitrate UVG video, and against all video codecs on lower framerates, while being thousands of times faster in decoding than deep models utilizing an autoregressive entropy model.

연구 동기 및 목표

• 기존 딥러닝 기반 비디오 압축 방법의 높은 계산 비용과 느린 복호화 속도를 해결한다.
• 운동 보정이나 잔여 코드와 같은 명시적 프레임 변환을 피하여 복잡성을 감소시킨다.
• 잠재 코드 간의 조건부 엔트로피 모델링을 통해 프레임 간 상관관계를 단지 모델링함으로써 압축 효율을 향상시킨다.
• 자율주행 차량 및 비디오 스트리밍 플랫폼과 같은 실세계 시스템에서 학습 기반 비디오 압축의 더 빠르고 실용적인 구현을 가능하게 한다.

제안 방법

• 각 비디오 프레임을 독립적으로 압축하여 잠재 코드로 변환하기 위해 사전 학습된 깊이 있는 이미지 압축기를 사용하며, 프레임 수준의 변환을 생략한다.
• 첫 번째 프레임의 잠재 코드를 조건으로 두 번째 프레임의 잠재 코드 확률을 추정하는 조건부 엔트로피 모델을 학습하여 공동 비트레이트를 감소시킨다.
• 순차적인 인접 프레임 쌍에 대해 조건부 엔트로피 모델을 적용함으로써 명시적 운동 보정 없이 종단 간 비디오 압축을 구현한다.
• 복호화 중 내부 학습을 도입: 복호화 속도를 유지하면서도 반복적으로 잠재 코드를 최적화하여 비율-왜곡 성능을 향상시킨다.
• 내부 학습에는 파이토치의 autograd를 사용한 표준 backpropagation을 사용하지만, 구현은 최적화되어 있지 않다.
• UVG, CDVL, NorthAmerica 데이터셋에서 다양한 프레임레이트와 비트레이트를 대상으로 모델을 평가하여 탄력성과 성능을 점검한다.

실험 결과

연구 질문

• RQ1 독립적인 프레임 잠재 코드 간의 조건부 엔트로피 모델링에 기반한 비디오 압축 시스템이 기존 및 딥러닝 기반 코덱보다 우수한 성능을 낼 수 있는가?
• RQ2 명시적 운동 보정 및 잔여 코드화를 제거하면 압축 효율을 희생시키지 않고 복호화 속도에 상당한 향상을 이끌 수 있는가?
• RQ3 복호화 중 잠재 코드의 내부 학습이 복호화 시간을 늘리지 않고도 비율-왜곡 성능을 향상시킬 수 있는가?
• RQ4 낮은 프레임레이트와 높은 비트레이트 조건에서 제안된 방법이 H.265 및 다른 딥러닝 기반 기준과 비교해 어떻게 성능을 내는가?
• RQ5 특히传통적인 코덱이 어려움을 겪는 상황에서, 다양한 비디오 콘텐츠와 프레임레이트에 대해 이 방법이 얼마나 탄력적인가?

주요 결과

• 기본 조건부 엔트로피 모델은 UVG 데이터셋에서 높은 비트레이트 조건에서 H.265 및 최신 딥러닝 비디오 코덱과 경쟁 가능한 MS-SSIM 성능을 달성한다.
• 낮은 프레임레이트(예: UVG에서 12 Hz, CDVL에서 6 Hz) 조건에서, 단일 이미지 압축을 기준으로 하더라도 H.265를 훨씬 뛰어난 MS-SSIM 성능으로 초월한다.
• 모든 테스트된 프레임레이트와 데이터셋에서 단일 이미지 압축 대비 조건부 엔트로피 모델이 비트레이트를 20~50% 감소시킨다.
• 내부 학습은 모든 비트레이트 및 설정에서 추가로 약 10%의 비트레이트 절감을 제공하며, 복호화 시간 증가 없이 이루어진다.
• 자기 회귀적 엔트로피 모델 대비 복호화 속도가 수천 배 빠르므로 실시간 응용 분야에서 실용적이다.
• NorthAmerica 데이터셋에서 고비트레이트 조건에서 H.265를 MS-SSIM 기준으로 뛰어넘으며, 자동차가 주행 중일 때도 우월성을 유지한다.