[논문 리뷰] A Fast Block Matching Algorithm for Video Motion Estimation Based on Particle Swarm Optimization and Motion Prejudgment

Ran Ren, Madan mohan Manokar외 2명|ArXiv.org|2006. 09. 24.

Video Coding and Compression Technologies참고 문헌 13인용 수 13

한 줄 요약

이 논문은 입자군집최적화(PSO)와 영상 이동 예측 기반 정적 매크로블록 식별 기법을 융합한 빠른 블록 매칭 알고리즘인 PSO-ZMP를 제안한다. 이는 계산 부하를 줄이기 위해 고안되었으며, 정적 매크로블록을 조기에 식별하고 PSO를 활용해 효율적인 운동벡터 탐색을 수행함으로써, 다이아몬드 서치(DS) 대비 10배 이상, 적응형 로드 패턴 서치(ARPS) 대비 5배 이상의 계산 감소를 달성한다. 고속 운동 시퀀스에서는 PSNR 저하가 약간 발생하지만 전체적으로 우수한 성능을 보인다.

ABSTRACT

In this paper, we propose a fast 2-D block-based motion estimation algorithm called Particle Swarm Optimization - Zero-motion Prejudgment(PSO-ZMP) which consists of three sequential routines: 1)Zero-motion prejudgment. The routine aims at finding static macroblocks(MB) which do not need to perform remaining search thus reduces the computational cost; 2)Predictive image coding and 3)PSO matching routine. Simulation results obtained show that the proposed PSO-ZMP algorithm achieves over 10 times of computation less than Diamond Search(DS) and 5 times less than the recent proposed Adaptive Rood Pattern Searching(ARPS). Meanwhile the PSNR performances using PSO-ZMP are very close to that using DS and ARPS in some less-motioned sequences. While in some sequences containing dense and complex motion contents, the PSNR performances of PSO-ZMP are several dB lower than that using DS and ARPS but in an acceptable degree.

연구 동기 및 목표

• 영상 압축에서 블록 매칭 알고리즘의 높은 계산 비용을 줄이기 위해, 일반적으로 전체 인코딩 시간의 70–90%를 차지하는 문제를 해결하고자 한다.
• 지능형 최적화 기법과 운동 예측 히وري스틱을 융합하여 운동 추정의 탐색 효율성을 향상시키고자 한다.
• 실시간 응용 프로그램에 적합한 고성능 영상 품질을 유지하면서도 계산 복잡도를 크게 줄이는 방법을 개발하고자 한다.
• PSO를 운동 추정에 활용할 수 있는지 탐색하며, 글로벌 탐색 능력과 하드웨어 구현 용이성에 기여하고자 한다.

제안 방법

• 정적 매크로블록(MB)에 대한 운동 탐색이 불필요한 경우를 조기에 식별하기 위해 정적 매크로블록 예측 기법(ZMP)을 도입하여 탐색 공간을 감소시킨다.
• 남은 후보 블록 내에서 최적의 운동벡터를 탐색하기 위해 입자군집최적화(PSO)를 적용하며, 입자 군집이 탐색 공간을 탐색한다.
• 수렴성과 탐색 정확도 향상을 위해 PSO에 새로운 입자 초기화 패턴을 도입한다.
• 예측 영상 코딩과 PSO 기반 매칭을 융합하여 중복 계산을 추가로 줄인다.
• 운동벡터 $\mathbf{d}_m$ 가 매칭 오차 $\varepsilon(\mathbf{d}_m)$ 를 최소화하는 정의역 $\mathcal{P}$ 를 사전 정의한 탐색 영역으로 사용한다.
• 운동 추정 문제를 탐색 영역 $\mathcal{P}$ 내에서 $\varepsilon(\mathbf{d}_m) = \sum_{\mathbf{n} \in \mathcal{B}_m} \Phi(I_k[\mathbf{n}] - I_{k-1}[\mathbf{n} + \mathbf{d}_m])$ 를 최소화하는 것으로 정의한다.

실험 결과

연구 질문

• RQ1 PSO 기반 최적화는 블록 매칭 운동 추정에서 계산 비용을 줄일 수 있을까? 또한, 수용 가능한 영상 품질을 유지할 수 있을까?
• RQ2 정적 매크로블록에 대한 운동 탐색을 제거하는 데 있어 정적 이동 예측 기법의 효과는 어떠한가?
• RQ3 다이아몬드 서치(DS)와 적응형 로드 패턴 서치(ARPS)와 같은 기존의 빠른 알고리즘과 비교할 때, PSO-ZMP는 계산량과 PSNR 측면에서 어떤가?
• RQ4 운동 추정에서 PSO는 유전 알고리즘 기반 접근법(GA-ZMP 등)보다도 속도와 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 밀도 높은 또는 복잡한 운동을 보이는 영상 시퀀스에서 PSO-ZMP는 영상 품질을 어느 정도 유지할 수 있는가?

주요 결과

• Akiyo 시퀀스에서 PSO-ZMP는 다이아몬드 서치(DS) 대비 12.04배, ARPS 대비 4.94배의 계산 감소를 달성한다.
• Akiyo 시퀀스에서 PSO-ZMP는 PSNR 42.39 dB를 기록하였으며, DS의 43.50 dB 대비 1.09 dB 낮지만, 12.04배의 속도 향상을 달성한다.
• Silent 시퀀스에서 PSO-ZMP는 PSNR 32.64 dB를 기록하였으며, ARPS의 36.46 dB 대비 4.04 dB 낮지만, 여전히 30 dB 이상을 유지하여 수용 가능한 품질을 확보한다.
• 모든 시퀀스에서 PSO-ZMP는 GA-ZMP보다 평균 PSNR와 계산 효율성 측면에서 뛰어나며, 모든 시퀀스에서 GA-ZMP 대비 1.47배에서 2.17배까지 계산량을 줄였다.
• 다섯 개의 테스트 시퀀스 전반에서 PSO-ZMP는 대부분의 프레임에서 PSNR가 30 dB 이상을 유지하여, 미세한 품질 저하가 있더라도 수용 가능한 영상 품질을 확보하고 있음을 보여준다.
• 알고리즘은 뛰어난 확장성과 강건성을 보이며, 저속 운동과 고속 운동 시퀀스를 포함한 다양한 운동 특성에 걸쳐 일관된 성능을 유지한다.