[논문 리뷰] A software decoder implementation for H.266/VVC video coding standard

Bin Zhu, Shan Liu외 9명|arXiv (Cornell University)|2020. 12. 04.

Video Coding and Compression Technologies참고 문헌 2인용 수 4

한 줄 요약

이 논문은 x86 CPU에서 4K 60fps VVC 비트스트림의 실시간 디코딩을 달성하기 위해 SIMD 명령어 확장과 다중 수준 병렬 처리(데이터 및 작업 병렬)를 활용한 최적화된 소프트웨어 디코더를 제안한다. 표준의 높은 계산 복잡도를 다루며, 새로운 코딩 효율성의 성능 요구 사항에도 불구하고 실시간 배포의 실용성을 입증한다.

ABSTRACT

Versatile Video Coding Standard (H.266/VVC) was completed by Joint Video Expert Team (JVET) of ITU-T and ISO/IEC, in July 2020. This new ITU recommendation/international standard is a successor to the well-known H.265/HEVC video coding standard with roughly doubled compression efficiency, but also at the cost of an increased computational complexity. The complexity of H.266/VVC decoder processing modules is studied in this paper. An optimized decoder implementation using SIMD instruction extensions and additional parallel processing including data and task level parallelism is presented, which can achieve real-time decoding of 4K 60fps VVC bitstreams on an x86 based CPU.

연구 동기 및 목표

• 최근 표준화된 H.266/VVC 비디오 코딩 형식의 높은 계산 복잡도를 해결하기 위해.
• 고해상도 비디오 스트림을 위한 실시간 디코딩이 가능한 실용적인 소프트웨어 디코더를 개발하기 위해.
• 일반 목적의 x86 CPU에서 성능을 평가하고 최적화하기 위해 디코더 처리 모듈을 최적화하기 위해.
• 소프트웨어 기반 기법을 통해 H.266/VVC의 효율적인 배포를 가능하게 하기 위해.

제안 방법

• 디코더 구현은 핵심 비디오 디코딩 프로세스에서 데이터 병렬 연산을 가속화하기 위해 SIMD 명령어 확장을 사용한다.
• 작업 수준의 병렬 처리를 적용하여 디코딩 작업을 여러 CPU 코어에 분배한다.
• SIMD 유닛 내에서 데이터 수준의 병렬 처리를 활용하여 동시에 여러 샘플을 처리한다.
• 현대 x86 아키텍처에서 처리량을 극대화하기 위해 데이터 및 작업 수준의 병렬 처리를 통합한다.
• 엔트로피 디코딩, 역 변환, 샘플 적응형 오프셋을 포함한 전체 H.266/VVC 디코딩 파이프라인을 대상으로 한다.
• 지연 시간을 줄이고 성능을 향상시키기 위해 운동 보상, 변환, 루프 필터링과 같은 핵심 모듈에 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 일반적인 x86 CPU에서 소프트웨어 기반 디코더가 4K 60fps H.266/VVC 비트스트림의 실시간 디코딩을 달성할 수 있는가?
• RQ2 SIMD와 작업 수준 병렬 처리가 H.266/VVC의 높은 계산 복잡도를 얼마나 효과적으로 완화하는가?
• RQ3 H.266/VVC 디코더 처리 모듈에서 성능 저하 요인은 무엇이며, 이를 어떻게 최적화할 수 있는가?
• RQ4 병렬 처리와 명령어 수준 병렬 처리가 고효율 비디오 코딩의 디코딩 처리량을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 디코더는 표준 x86 기반 CPU에서 4K 60fps H.266/VVC 비트스트림의 실시간 디코딩을 달성한다.
• SIMD 명령어 확장의 사용이 디코딩 파이프라인 내 데이터 병렬 연산을 크게 가속화한다.
• 데이터 및 작업 수준 병렬 처리의 조합이 디코딩 지연 시간을 효과적으로 줄이고 처리량을 향상시킨다.
• 최적화된 구현은 일반 목적 하드웨어에서 H.266/VVC의 소프트웨어 기반 디코딩이 실현 가능하다는 것을 입증한다.
• 연구는 H.266/VVC 디코딩에서의 주요 계산 병목 현상을 특정하고, 대응하는 최적화 전략을 제공한다.