[논문 리뷰] An Efficient Adaptive Boundary Matching Algorithm for Video Error Concealment

Seyed Mojtaba Marvasti-Zadeh, Hossein Ghanei-Yakhdan외 1명|arXiv (Cornell University)|2016. 10. 24.

Video Coding and Compression Technologies인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 맥락을 기반으로 경계 매칭 비용에 동적으로 가중치를 적용하여 손상된 매크로블록에서 운동벡터 복구를 향상시키는 효율적인 적응형 경계 매칭 알고리즘을 제안한다. 특히 이웃 블록이 이미 회복된 경우 더 신뢰할 수 있는 경계에 더 높은 가중치를 할당함으로써, 계산 복잡도를 최소한으로 유지하면서도 기존 방법 대비 상당한 PSNR 향상(최대 5.88 dB)을 달성한다.

ABSTRACT

Sending compressed video data in error-prone environments (like the Internet and wireless networks) might cause data degradation. Error concealment techniques try to conceal the received data in the decoder side. In this paper, an adaptive boundary matching algorithm is presented for recovering the damaged motion vectors (MVs). This algorithm uses an outer boundary matching or directional temporal boundary matching method to compare every boundary of candidate macroblocks (MBs), adaptively. It gives a specific weight according to the accuracy of each boundary of the damaged MB. Moreover, if each of the adjacent MBs is already concealed, different weights are given to the boundaries. Finally, the MV with minimum adaptive boundary distortion is selected as the MV of the damaged MB. Experimental results show that the proposed algorithm can improve both objective and subjective quality of reconstructed frames without any considerable computational complexity. The average PSNR in some frames of test sequences increases about 5.20, 5.78, 5.88, 4.37, 4.41, and 3.50 dB compared to average MV, classic boundary matching, directional boundary matching, directional temporal boundary matching, outer boundary matching, and dynamical temporal error concealment algorithm, respectively.

연구 동기 및 목표

• 인터넷 및 무선 시스템과 같은 오류 발생 가능성이 높은 네트워크에서 데이터 손실로 영향을 받은 비디오 프레임에서 운동벡터 복구 문제를 해결하기 위해.
• 계산 복잡도를 증가시키지 않고도 오차 회복 후 객관적(PSNR) 및 주관적 비디오 품질을 향상시키기 위해.
• 경계의 신뢰성에 기반해 후보 매크로블록을 적응적으로 평가하는 경계 매칭 방법을 개발하기 위해.
• 이웃 매크로블록이 이미 회복된 경우를 포함한 공간적 및 시간적 맥락을 통합하여 경계에 서로 다른 가중치를 할당하기 위해.
• 기존의 경계 매칭 기법들인 고전적, 방향성, 시간적 방법들보다 오류 회복 성능에서 뛰어나지 않도록 하기 위해.

제안 방법

• 손상된 매크로블록을 위한 후보 매크로블록 평가를 위해 외부 경계 매칭과 방향성 시간적 경계 매칭을 사용한다.
• 경계의 정확도와 인접 블록의 회복 상태에 기반해 후보 매크로블록의 각 경계에 적응형 가중치를 할당한다.
• 인접 블록이 이미 회복된 경우 그 경계에 더 높은 가중치를 할당하여 매칭 신뢰도를 향상시킨다.
• 가장 낮은 적응형 경계 왜곡을 갖는 운동벡터가 손상된 매크로블록의 최종 추정치로 선택된다.
• 공간적 및 시간적 정보를 동적으로 조합하여 정확도를 향상시키면서도 낮은 계산 비용을 유지한다.
• 알고리즘은 디코더 측에서 작동하며, 이웃 블록 정보와 경계 일관성을 이용해 손실된 운동벡터를 재구성한다.

실험 결과

연구 질문

• RQ1 고도의 패킷 손실 조건 하에서 비디오 오류 회복 시 운동벡터 복구를 어떻게 향상시킬 수 있는가?
• RQ2 공간적 및 시간적 맥락을 활용하여 경계 매칭 정확도를 향상시키기 위한 가중치 전략은 무엇인가?
• RQ3 적응형 경계 매칭이 계산 복잡도를 증가시키지 않으면서 재구성된 프레임의 왜곡을 줄일 수 있는가?
• RQ4 제안된 방법의 성능은 고전적, 방향성, 시간적 경계 매칭 기법들과 비교하여 어떻게 다른가?
• RQ5 이웃 매크로블록의 회복 상태가 경계 매칭의 신뢰도에 얼마나 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 평균 운동벡터 방법 대비 평균 PSNR를 5.20 dB 향상시킨다.
• 고전적 경계 매칭 알고리즘 대비 5.78 dB의 PSNR 향상을 달성한다.
• 방향성 경계 매칭보다 5.88 dB의 PSNR 향상을 기록한다.
• 방향성 시간적 경계 매칭 대비 4.37 dB의 PSNR 향상을 제공한다.
• 외부 경계 매칭 대비 재구성 품질을 4.41 dB 향상시킨다.
• 동적 시간 오류 회복 알고리즘 대비 3.50 dB의 PSNR 향상을 달성한다.