[논문 리뷰] Uni-LVC: A Unified Method for Intra- and Inter-Mode Learned Video Compression

Yichi Zhang, Ruoyu Yang외 1명|arXiv (Cornell University)|2026. 03. 05.

Advanced Data Compression Techniques인용 수 0

한 줄 요약

Uni-LVC는 단일 학습 비디오 압축 모델을 제시하며, intra, 저지연 inter, 및 임의 접근 inter를 처리하기 위해 교차 주의 모듈을 통한 시간적 신호로 인터 코딩을 조건화하고, 신뢰성 인식 게이트를 적용하며, 다단계 학습 전략을 사용한다.

ABSTRACT

Recent advances in learned video compression (LVC) have led to significant performance gains, with codecs such as DCVC-RT surpassing the H.266/VVC low-delay mode in compression efficiency. However, existing LVCs still exhibit key limitations: they often require separate models for intra and inter coding modes, and their performance degrades when temporal references are unreliable. To address this, we introduce Uni-LVC, a unified LVC method that supports both intra and inter coding with low-delay and random-access in a single model. Building on a strong intra-codec, Uni-LVC formulates inter-coding as intra-coding conditioned on temporal information extracted from reference frames. We design an efficient cross-attention adaptation module that integrates temporal cues, enabling seamless support for both unidirectional (low-delay) and bidirectional (random-access) prediction modes. A reliability-aware classifier is proposed to selectively scale the temporal cues, making Uni-LVC behave closer to intra coding when references are unreliable. We further propose a multistage training strategy to facilitate adaptive learning across various coding modes. Extensive experiments demonstrate that Uni-LVC achieves superior rate-distortion performance in intra and inter configurations while maintaining comparable computational efficiency.

연구 동기 및 목표

• 재훈련 없이 intra와 inter 코딩 모드를 모두 지원하는 단일 모델의 필요성을 제시한다.
• 통합 코딩의 기초가 될 강력한 intra-codec 백본을 개발한다.
• 신뢰할 수 없는 레퍼런스를 다루기 위한 효율적인 시간 조건화 메커니즘과 신뢰성 인식 게이트를 설계한다.
• intra, LD, RA 모드에서 적응 학습을 가능하게 하는 다단계 학습 전략을 도입한다.
• 효율성을 유지하면서 코딩 구성 간 경쟁력 있는 rate-distortion 성능을 보여준다.

제안 방법

• 참조 프레임에서 추출된 시간 특징으로 조건화된 intra 코딩으로 inter 코딩을 공식화한다.
• Entropy modeling과 quantization에 대한 개선을 갖춘 DCVC-RT 기반의 강력한 intra-codec 백본을 구축한다.
• 변형 가능한 이웃 교차 주의와 극성 인식 선형 교차 주의를 통해 시간 신호를 융합하는 경량형 cross-attention 적응 모듈을 도입한다.
• 참조 신뢰도에 따라 시간 특징의 사용을 동적으로 차단하는 신뢰성 인식 분류기를 도입한다.
• AI, LD, RA 모드에서 학습하기 위해 지식 재생을 포함한 다단계 커리큘럼 기반 학습 전략을 사용한다.

실험 결과

연구 질문

• RQ1 단일 모델이 별도의 모델 없이 intra, 저지연 inter, 및 임의 접근 inter 비디오 코딩을 효과적으로 지원할 수 있는가?
• RQ2 시간 신호를 어떻게 견고하게 통합하여 inter 코딩을 intra 아키텍처에 조건화할 수 있는가?
• RQ3 다양한 코딩 모드에서 통합 모델이 우수하게 작동하게 하는 훈련 전략은 무엇인가?
• RQ4 intra 성능 저하 없이 신뢰할 수 없는 시간 참조를 어떻게 처리할 것인가?
• RQ5 모드 간 실용적인 rate-distortion 성능과 효율성을 보장하는 메커니즘은 무엇인가?

주요 결과

• Uni-LVC는 이전의 학습 코덱과 비교하여 intra 및 inter 구성에서 우수한 rate–distortion 성능을 달성한다.
• 교차 주의 적응 모듈은 intra 백본에 시간 신호를 효과적으로 통합하여 inter 코딩을 지원한다.
• 신뢰성 인식 분류기는 신뢰할 수 없는 참조 하에서 로버스트함을 유지하기 위해 시간 특징을 동적으로 차단한다.
• 다단계 학습 커리큘럼은 안정적인 최적화를 유지하며 intra, LD, RA 모드 간의 통합 학습을 가능하게 한다.
• 이 접근 방식은 모드 지원을 확장하면서도 이전 학습 코덱과 유사한 계산 효율을 유지한다.