[논문 리뷰] Content Adaptive and Error Propagation Aware Deep Video Compression

Guo Lu, Chunlei Cai외 5명|arXiv (Cornell University)|2020. 03. 25.

Advanced Data Compression Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 다중 연속 프레임에 걸쳐 비용-왜곡 성능을 공동 최적화하여 오차 누적을 완화하는 콘텐츠 적응형이고 오차 전파 인식 기반의 딥 비디오 압축 프레임워크를 제안한다. 추론 중에 온라인 인코더 업데이트 방식을 도입함으로써 모델 크기나 디코딩 복잡도를 증가시키지 않으면서도 비디오 콘텐츠에 적응하는 인코더를 구현하여 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, learning based video compression methods attract increasing attention. However, the previous works suffer from error propagation due to the accumulation of reconstructed error in inter predictive coding. Meanwhile, the previous learning based video codecs are also not adaptive to different video contents. To address these two problems, we propose a content adaptive and error propagation aware video compression system. Specifically, our method employs a joint training strategy by considering the compression performance of multiple consecutive frames instead of a single frame. Based on the learned long-term temporal information, our approach effectively alleviates error propagation in reconstructed frames. More importantly, instead of using the hand-crafted coding modes in the traditional compression systems, we design an online encoder updating scheme in our system. The proposed approach updates the parameters for encoder according to the rate-distortion criterion but keeps the decoder unchanged in the inference stage. Therefore, the encoder is adaptive to different video contents and achieves better compression performance by reducing the domain gap between the training and testing datasets. Our method is simple yet effective and outperforms the state-of-the-art learning based video codecs on benchmark datasets without increasing the model size or decreasing the decoding speed.

연구 동기 및 목표

• 상호 예측에서 누적된 재구성 오차로 인해 발생하는 학습 기반 비디오 압축의 오차 전파 문제를 해결하기 위해.
• 비디오 콘텐츠에 기반하여 추론 중에 인코더를 동적으로 업데이트함으로써 콘텐츠 적응형 인코딩을 가능하게 하기 위해.
• 모델 크기나 디코딩 계산 복잡도를 증가시키지 않으면서도 압축 효율을 향상시키기 위해.
• 훈련 데이터와 테스트 데이터 간의 도메인 갭을 줄이기 위해 다양한 비디오 콘텐츠에 인코더를 적응시키기 위해.

제안 방법

• 장기적인 시간적 의존성을 활용하여 단일 프레임이 아닌 T개의 연속 프레임에 걸쳐 비용-왜곡 비용을 최소화하는 공동 훈련 전략을 채택한다.
• 온라인 인코더 업데이트(OEU) 방식을 도입하여 추론 중에 각 프레임마다 비용-왜곡 기준으로 인코더 파라미터를 최적화하고, 디코더는 고정된 상태로 유지한다.
• 비용-왜곡 최적화 목표를 사용하여 반복적으로 인코더를 업데이트함으로써 운동 복잡도와 콘텐츠 특성의 변화에 적응할 수 있도록 한다.
• 다중 프레임 최적화를 통해 엔드 투 엔드 훈련을 통해 프레임별 최적의 인코딩 전략을 학습함으로써 수작업으로 설계된 코딩 모드를 피한다.
• 고정된 디코더를 유지함으로써 디코딩 시간이나 모델 크기가 증가하지 않으면서도 콘텐츠 기반 인코더 적응을 가능하게 한다.
• 장기적인 오차 전파를 모델링하기 위해 훈련 目표에 시간 간격 T를 포함시키며, 실험 결과 T=5에서 최적 성능를 얻었다.

실험 결과

연구 질문

• RQ1 장기적인 시간적 의존성을 활용함으로써 훈련 중에 딥 비디오 압축에서의 오차 전파를 어떻게 완화할 수 있는가?
• RQ2 추론 중에 온라인 인코더 적응을 통해 다양한 비디오 콘텐츠에 대한 압축 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법이 모델 크기나 디코딩 복잡도를 증가시키지 않으면서도 최신 기술 수준의 학습 기반 코덱보다 더 나은 비용-왜곡 성능을 달성하는가?
• RQ4 공동 훈련 목표에서 시간 간격 T의 선택이 오차 전파와 압축 효율에 어떤 영향을 미치는가?

주요 결과

• 공동 훈련 목표에서 시간 간격 T=5를 사용할 경우, 기준 모델 대비 비트레이트 절감률이 5.59%에 달한다.
• 온라인 인코더 업데이트(OEU) 방식은 기준 모델 대비 비용-왜곡 성능을 0.5 dB 이상 향상시킨다.
• EPA 훈련과 OEU를 결합한 전체 방법은 최신 기술 수준의 방법 [19]을 능가하는 최고의 성능을 달성하며, 모델 크기나 디코딩 복잡도가 증가하지 않는다.
• 간단한 시나리오(예: HEVC Class B)에서는 인코더 업데이트에 3회 이내의 반복만 필요하고, 복잡한 시나리오(예: HEVC Class C)에서는 더 많은 반복이 필요하며, 복잡한 경우 1 dB의 성능 향상을 달성한다.
• 복잡한 비디오 시퀀스에서 제안된 방법의 인코딩 속도(1.4 fps)는 H.265(0.1 fps)보다 빠르며, 실용성의 가능성을 입증한다.