[논문 리뷰] Daala: A Perceptually-Driven Next Generation Video Codec

Thomas Daede, Nathan E. Egge외 3명|arXiv (Cornell University)|2016. 03. 10.

Video Coding and Compression Technologies참고 문헌 15인용 수 3

한 줄 요약

Daala는 라이선스 비용이 없고 시각적 품질을 우선시하는 비디오 코덱으로, 전통적인 비디오 코딩 도구 대신 시각적 품질을 중시하는 새로운 기법을 사용한다. PSNR와 같은 객관적 지표에 의존하지 않고, 블로킹 및 리버버버링 아티팩트를 줄이기 위해 라퍼드 트랜스폼, 시각적 벡터 양자화(PVQ), 방향성 데링잉 필터를 사용하여 정적 이미지에서는 HEVC와 경쟁하는 성능을 내고, SSIM 및 PSNR-HVS-M과 같은 시각적 지표에서도 뛰어난 결과를 얻는다.

ABSTRACT

The Daala project is a royalty-free video codec that attempts to compete with the best patent-encumbered codecs. Part of our strategy is to replace core tools of traditional video codecs with alternative approaches, many of them designed to take perceptual aspects into account, rather than optimizing for simple metrics like PSNR. This paper documents some of our experiences with these tools, which ones worked and which did not, and what we've learned from them. The result is a codec which compares favorably with HEVC on still images, and is on a path to do so for video as well.

연구 동기 및 목표

• PSNR 최적화 도구에 의존하지 않고 HEVC나 VP9와 같은 특허로 둘러싸인 코덱과 경쟁할 수 있는 라이선스 비용 없는 비디오 코덱을 개발하는 것.
• 변형, 예측, 양자화와 같은 핵심 코딩 구성 요소에 시각적 모델링을 통합하여 블로킹 및 리버버버링과 같은 시각적 아티팩트를 해결하는 것.
• 이웃 블록의 크기 의존성을 제거하기 위해 라퍼드 트랜스폼과 OBMC 처리를 재구조화하여 블록 기반 비디오 코덱에서 효율적이고 확장 가능한 비율-왜곡 최적화를 가능하게 하는 것.
• PVQ를 통해 대비 및 활동 마스킹과 같은 시각적으로 의미 있는 매개변수를 명시적으로 모델링하여 복잡한 무늬와 에지의 코딩 효율을 향상시키는 것.
• 모든 에 bord를 유지하면서도 에 bord를 블러링하지 않고 리버버버링 아티팩트를 효과적으로 억제하는 두 단계의 방향성 데링잉 필터를 통해 고속도나 방향성 콘텐츠에서의 시각적 아티팩트를 줄이는 것.

제안 방법

• 32×32 슈퍼블록에 고정된 8점 라퍼드 라이닝(각 변에 4픽셀)을 사용하는 라퍼드 트랜스폼을 적용하며, 블록 크기 결정과 분리된 순차적 필터링 순서를 통해 블록 크기 결정을 동적 프로그래밍 검색에 적합하게 만든다.
• 실제 예측을 사용하는 새로운 구조를 적용한 OBMC(중첩 블록 운동 보정)를 통해 예측 성능을 향상시키고, 인터 예측에서 블로킹 아티팩트를 감소시킨다.
• AC 계수 대역의 이득과 예측 일치를 인코딩하기 위해 시각적 벡터 양자화(PVQ)를 구현하여 활동 마스킹 및 라이트에서 색상 정보 추출 예측과 같은 시각적 적응형 코딩을 가능하게 한다.
• 두 단계의 방향성 데링잉 필터를 사용한다: 첫 번째 단계는 국소 분산 차이를 기반으로 한 임계값을 적용한 7탭 필터로 주요 에지 방향에 따라 필터링하고, 두 번째 단계는 위치 기반 임계값을 적용한 5탭 수평/수직 필터를 통해 에지 블러를 최소화한다.
• 스킵되지 않은 슈퍼블록 또는 이웃 블록이 모두 스킵되지 않은 인터 프레임의 경우에만 데링잉 필터를 적용하여 병렬 처리를 보장하고 슈퍼블록 간 의존성을 피한다.
• 필터링을 의미 있는 리버버버링 성분으로 제한하기 위해 임계값 함수 $\mathrm{thresh}(d,T) = \mathrm{sign}(d) \cdot \max(0, |d| - T)$ 를 사용하며, 국소 이미지 콘텐츠와 슈퍼블록 통계에 기반한 적응형 임계값을 적용한다.

실험 결과

연구 질문

• RQ1 변동 블록 크기 비디오 코덱에서 NP-하드 블록 크기 결정을 유발하지 않으면서도 라퍼드 트랜스폼을 확장성 있고 효율적으로 구현할 수 있는 방법은 무엇인가?
• RQ2 PVQ를 통한 시각적 모델링이 저비트레이트 비디오 코딩에서 전통적 변형 및 양자화 도구에 비해 시각적 품질을 얼마나 향상시킬 수 있는가?
• RQ3 방향성 데링잉 필터는 복잡한 무늬에서 에지 블러링이나 새로운 아티팩트를 유발하지 않으면서도 리버버버링 아티팩트를 효과적으로 억제할 수 있는가?
• RQ4 시각적 벡터 양자화와 색상 정보 추출 예측의 조합이 정적 이미지 및 비디오에서 코딩 효율성과 시각적 품질에 어떤 영향을 미치는가?
• RQ5 라퍼드 트랜스폼 처리에서 이웃 블록 크기 의존성을 제거함으로써 비율-왜곡 성능과 구현 복잡도에 어떤 영향을 미치는가?

주요 결과

• Daala는 x265 1.6 및 libvpx-vp9 1.4.0에 비해 PSNR-HVS-M 및 다중스케일 FastSSIM과 같은 시각적 지표에서 뛰어난 성능을 보이며, 특히 고비트레이트에서 두각을 나타낸다.
• 정적 이미지에서 Daala는 HEVC 및 BPG, VP9와 같은 최신 기술의 코덱보다 주관적 평가에서 뛰어난 성능을 보였으며, 피부나 털과 같은 무늬 영역에서 두드러진다.
• ‘bike’ 이미지에서 가장 열악한 주관적 결과가 발생했으며, 이는 강한 방향성 에지 처리에 대한 내재된 약점 때문이었다.
• 2015년 PCS 평가에서 사용된 원형 데링잉 필터는 최종 버전보다 효과적이지 못했으며, 이는 필터 정교화가 시각적 품질 향상에 크게 기여했음을 시사한다.
• Daala의 PVQ 사용 덕분에 자동으로 활동 마스킹이 가능해져, 기존 코덱에서 과도하게 양자화되는 저대비 영역의 세부 정보를 유지할 수 있었다.
• 강력한 시각적 성능에도 불구하고 Daala는 저비트레이트에서 여전히 향상 여지가 있으며, B-프레임이나 대체 참조 기능이 없어 현대 코덱에 비해 비디오 코딩 효율성이 떨어진다.