[论文解读] An Efficient Adaptive Boundary Matching Algorithm for Video Error Concealment

Seyed Mojtaba Marvasti-Zadeh, Hossein Ghanei-Yakhdan+1 more|arXiv (Cornell University)|Oct 24, 2016

Video Coding and Compression Technologies被引用 4

一句话总结

该论文提出了一种高效的自适应边界匹配算法，用于视频错误隐藏，通过根据空间和时间上下文动态加权边界匹配代价，改进受损宏块中的运动矢量恢复。通过自适应地为更可靠的边界（尤其是当邻近宏块已被隐藏时）分配更高的权重，该方法在计算开销极小的情况下实现了显著的PSNR增益（最高达5.88 dB）。

ABSTRACT

Sending compressed video data in error-prone environments (like the Internet and wireless networks) might cause data degradation. Error concealment techniques try to conceal the received data in the decoder side. In this paper, an adaptive boundary matching algorithm is presented for recovering the damaged motion vectors (MVs). This algorithm uses an outer boundary matching or directional temporal boundary matching method to compare every boundary of candidate macroblocks (MBs), adaptively. It gives a specific weight according to the accuracy of each boundary of the damaged MB. Moreover, if each of the adjacent MBs is already concealed, different weights are given to the boundaries. Finally, the MV with minimum adaptive boundary distortion is selected as the MV of the damaged MB. Experimental results show that the proposed algorithm can improve both objective and subjective quality of reconstructed frames without any considerable computational complexity. The average PSNR in some frames of test sequences increases about 5.20, 5.78, 5.88, 4.37, 4.41, and 3.50 dB compared to average MV, classic boundary matching, directional boundary matching, directional temporal boundary matching, outer boundary matching, and dynamical temporal error concealment algorithm, respectively.

研究动机与目标

• 解决在互联网和无线系统等易出错网络中数据丢失导致的视频帧运动矢量恢复问题。
• 在不增加计算复杂度的前提下，同时提升错误隐藏后的客观（PSNR）和主观视频质量。
• 开发一种边界匹配方法，根据边界的可靠性自适应评估候选宏块。
• 通过为不同边界分配不同权重，整合时间与空间上下文信息，尤其在相邻宏块已被隐藏时提升匹配可靠性。
• 在错误隐藏性能上超越现有边界匹配技术，如经典法、方向法和时间法。

提出的方法

• 该算法使用外边界匹配和方向性时间边界匹配，评估受损宏块的候选宏块。
• 根据边界的准确度以及相邻宏块的隐藏状态，为候选宏块的每个边界分配自适应权重。
• 若相邻宏块已被隐藏，则为其边界赋予更高权重，以提升匹配可靠性。
• 选择自适应边界失真最小的运动矢量作为受损宏块的最终估计值。
• 该方法动态结合空间与时间信息，以提升匹配精度，同时保持较低的计算成本。
• 该算法在解码端运行，利用邻近宏块信息和边界一致性重建丢失的运动矢量。

实验结果

研究问题

• RQ1 在高丢包条件下，如何改进视频错误隐藏中的运动矢量恢复？
• RQ2 何种加权策略可利用空间与时间上下文提升边界匹配精度？
• RQ3 自适应边界匹配是否能在不增加计算复杂度的前提下降低重建帧的失真？
• RQ4 所提方法与经典法、方向法和时间法在边界匹配性能上相比如何？
• RQ5 邻近宏块的隐藏状态在多大程度上影响边界匹配的可靠性？

主要发现

• 与平均运动矢量法相比，该算法使平均PSNR提升了5.20 dB。
• 与经典边界匹配算法相比，PSNR增益达到5.78 dB。
• 与方向边界匹配相比，PSNR提升达5.88 dB。
• 与方向时间边界匹配相比，PSNR增益为4.37 dB。
• 与外边界匹配相比，该算法使重建质量提升4.41 dB。
• 与动态时间错误隐藏算法相比，PSNR增益达3.50 dB。