[논문 리뷰] Implementation of the VBM3D Video Denoising Method and Some Variants

Thibaud Ehret, Pablo Arias|arXiv (Cornell University)|2020. 01. 06.

Image and Signal Denoising Methods참고 문헌 22인용 수 4

한 줄 요약

이 논문은 비디오용 VBM3D 영상 노이즈 제거 알고리즘의 오픈소스 C++ 구현을 제시한다. 이는 영상에 대한 BM3D의 확장으로, 유사한 시공간 패치를 3D 스택으로 묶어 3D 변환과 수축을 통한 공동 노이즈 제거를 수행한다. 주요 기여는 3D 패치, 광학 흐름 유도 패치 검색, 다중 해상도 처리를 조합함으로써 최신 기술 수준의 성능을 달성할 수 있음을 입증한 것으로, 특히 높은 노이즈 수준(σ=40)에서 기존 VBM3D 기준 최대 3.5 dB의 PSNR 향상을 이룬다.

ABSTRACT

VBM3D is an extension to video of the well known image denoising algorithm BM3D, which takes advantage of the sparse representation of stacks of similar patches in a transform domain. The extension is rather straightforward: the similar 2D patches are taken from a spatio-temporal neighborhood which includes neighboring frames. In spite of its simplicity, the algorithm offers a good trade-off between denoising performance and computational complexity. In this work we revisit this method, providing an open-source C++ implementation reproducing the results. A detailed description is given and the choice of parameters is thoroughly discussed. Furthermore, we discuss several extensions of the original algorithm: (1) a multi-scale implementation, (2) the use of 3D patches, (3) the use of optical flow to guide the patch search. These extensions allow to obtain results which are competitive with even the most recent state of the art.

연구 동기 및 목표

• VBM3D 영상 노이즈 제거 알고리즘의 재현 가능하고 오픈소스인 C++ 구현을 제공한다.
• 다중 해상도 처리, 3D 패치 사용, 광학 흐름 유도 패치 검색를 포함한 VBM3D 변종의 성능을 분석하고 검증한다.
• 이러한 확장 기법이 고노이즈 조건에서 특히 뛰어난 노이즈 제거 성능을 달성할 수 있음을 입증한다.
• 연구자 및 실무자들이 활용할 수 있도록 세부 파라미터 분석과 구현 가이던스를 제공한다.

제안 방법

• 알고리즘은 시공간 이웃 영역에서 유사한 2D 패치를 3D 스택으로 묶음으로써 BM3D를 영상에 확장한다.
• 각 3D 스택에 대해 분리 가능한 3D 변환(DCT 또는 웨이블릿 등)을 적용하여 신호 에너지를 몇 개의 계수에 집중시킨다.
• 이중 단계 노이즈 제거를 적용한다: 첫 번째 단계로 3D 수축 연산자를 사용한 하드 임계 처리를 수행하고, 두 번째 단계로 첫 번째 추정치를 오라클로 사용한 위너 필터링을 수행한다.
• 패치 검색은 광학 흐름을 기반으로 하여 운동 보정 영역에서의 유사도 탐지 정확도를 향상시킨다.
• 다중 해상도 처리는 여러 해상도에서 노이즈 제거를 수행하고 결과를 융합함으로써 적용되며, 랭차즈 또는 DCT 커널을 사용한 보간을 통해 수행된다.
• 최종 영상 복원은 패치 집계를 통해 이루어지며, 각 픽셀은 겹치는 노이즈 제거된 패치들의 가중 평균으로 추정된다.

실험 결과

연구 질문

• RQ1 BM3D를 영상에 간단히 확장한 VBM3D가 낮은 계산 오버헤드로 경쟁 가능한 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 2D 패치 대비 3D 시공간 패치를 사용할 경우 노이즈 제거 품질과 운동에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 광학 흐름 유도가 패치 유사도 탐지 및 전체 노이즈 제거 성능 향상에 어느 정도 기여하는가?
• RQ4 다중 해상도 처리는 노이즈 제거 품질을 향상시키는가, 아니면 아티팩트를 유발하거나 성능을 떨어뜨리는가?
• RQ5 최근 최고 수준의 영상 노이즈 제거 방법들과 비교했을 때, 제안된 변종은 PSNR와 시각적 품질 측면에서 어떤가?

주요 결과

• 광학 흐름 유도 패치 검색과 다중 해상도 처리를 적용한 제안된 VBM3D 구현은 σ=10일 때 Derf 테스트 세트에서 PSNR 38.95 dB를 달성하여 원본 VBM3D(38.10 dB)를 초월하고, VNLB 및 VNLnet와 같은 최신 SOTA 방법과도 동등하거나 슈퍼어리어한 성능을 보였다.
• σ=40일 때 최고 성능을 보인 변종(VBM3D ST+OF+MS, 랭차즈 보간)은 PSNR 32.44 dB를 기록하여 원본 VBM3D(30.96 dB)를 크게 앞서며, VNLB(32.95 dB)의 성능에 근접했다.
• 3D 패치와 광학 흐름 유도는 특히 고속도 또는 복잡한 시나리오에서 상당한 PSNR 향상을 이끌어내었으며, 표준 VBM3D 대비 최대 1.5 dB 향상된 성능을 기록했다.
• 다중 해상도 처리는 일관되게 성능 향상을 이끌지 못하며, 일부 경우에서는 결과를 떨어뜨리는 경향이 있어 해상도와 노이즈 억제 간의 트레이드오���이 존재함을 시사한다.
• 시각적 비교 결과, 제안된 변종은 특히 무늬가 빽빽하거나 운동이 많은 영역에서 기존 VBM3D보다 레이저링 및 블러링 아티팩트를 더 효과적으로 줄였다.
• 오픈소스 C++ 구현은 원본 VBM3D 논문에 보고된 결과를 재현함을 입증하여 재현 가능성 확보와 향후 연구 지원에 기여한다.