[论文解读] Daala: A Perceptually-Driven Next Generation Video Codec

Thomas Daede, Nathan E. Egge+3 more|arXiv (Cornell University)|Mar 10, 2016

Video Coding and Compression Technologies参考文献 15被引用 3

一句话总结

Daala 是一种免版税、以感知为导向的视频编码器，用新颖技术替代了传统视频编码工具，强调视觉质量而非 PSNR 等客观指标。它采用重叠变换、感知向量量化（PVQ）和方向性去 ringing 滤波器，以减少块效应和 ringing 伪影，在静态图像上性能可与 HEVC 比肩，在 SSIM 和 PSNR-HVS-M 等感知指标上表现优异。

ABSTRACT

The Daala project is a royalty-free video codec that attempts to compete with the best patent-encumbered codecs. Part of our strategy is to replace core tools of traditional video codecs with alternative approaches, many of them designed to take perceptual aspects into account, rather than optimizing for simple metrics like PSNR. This paper documents some of our experiences with these tools, which ones worked and which did not, and what we've learned from them. The result is a codec which compares favorably with HEVC on still images, and is on a path to do so for video as well.

研究动机与目标

• 开发一种免版税的视频编码器，其视觉质量可与 HEVC 和 VP9 等受专利限制的编码器相媲美，且不依赖于传统以 PSNR 优化为导向的工具。
• 通过将感知建模整合到变换、预测和量化等核心编码组件中，解决感知伪影（如块效应和 ringing）问题。
• 通过重构重叠变换和 OBMC 处理流程，消除对邻近块大小的依赖，实现在基于块的视频编码器中高效且可扩展的率失真优化。
• 通过显式建模对比度和活动掩蔽等感知有意义的参数（如通过 PVQ），提升复杂纹理和边缘区域的编码效率。
• 通过两级方向性去 ringing 滤波器，减少高运动或方向性内容中的视觉伪影，同时保留边缘细节。

提出的方法

• 在 $32\times32$ 超块上使用固定 8 点重叠（每边 4 个像素）的重叠变换，通过递归滤波顺序解耦块大小决策，支持动态规划搜索。
• 采用 OBMC（重叠块运动补偿）并引入新型结构，利用实际预测实现高效的编码单元大小选择，降低帧间预测中的块效应。
• 实现感知向量量化（PVQ），用于编码 AC 系数带的增益和预测匹配，支持感知自适应编码（如活动掩蔽）以及亮度到色度的预测。
• 采用两级方向性去 ringing 滤波器：第一级沿主边缘方向进行 7 tap 滤波，阈值基于局部方差差异；第二级采用 5 tap 水平/垂直滤波，阈值与位置相关，以最小化边缘模糊。
• 仅对未跳过的超块应用去 ringing 滤波，且仅在非帧间帧或其邻近块也未跳过时才处理，确保并行处理并避免跨超块依赖。
• 使用阈值函数 $\mathrm{thresh}(d,T) = \mathrm{sign}(d) \cdot \max(0, |d| - T)$ 限制仅对显著的 ringing 成分进行滤波，阈值根据局部图像内容和超块统计自适应调整。

实验结果

研究问题

• RQ1 如何在可变块大小的视频编码器中实现重叠变换的可扩展性和高效性，同时避免引入 NP 难的块大小决策？
• RQ2 通过 PVQ 实现的感知建模在低码率视频编码中，与传统变换和量化相比，能在多大程度上提升视觉质量？
• RQ3 方向性去 ringing 滤波器是否能有效抑制 ringing 伪影，同时避免边缘模糊或在复杂纹理中引入新伪影？
• RQ4 感知向量量化与亮度到色度预测的结合，对静态图像和视频的编码效率与视觉质量有何影响？
• RQ5 在重叠变换处理中移除对邻近块大小的依赖，对率失真性能和实现复杂度有何影响？

主要发现

• Daala 在 PSNR-HVS-M 和多尺度 FastSSIM 等感知指标上的表现优于 x265 1.6 和 libvpx-vp9 1.4.0，尤其在高码率下优势明显。
• 在静态图像上，Daala 在主观评价中优于 HEVC 以及其他先进编码器（如 BPG 和 VP9），尤其在皮肤和头发等纹理区域表现更优。
• 主观评价中最差的结果出现在 'bike' 图像上，原因是方向内预测能力有限，暴露出处理强方向性边缘时的弱点。
• 2015 年 PCS 评估中使用的原型去 ringing 滤波器效果不如最终版本，表明滤波器优化显著提升了视觉质量。
• Daala 使用 PVQ 实现了自动活动掩蔽，保留了低对比度区域的细节，而这些区域在传统编码器中通常会被过度量化。
• 尽管感知性能出色，Daala 在低码率下仍有改进空间，且缺乏 B 帧或备用参考帧，导致其视频编码效率相比现代编码器仍显不足。