[논문 리뷰] VIDOSAT: High-dimensional Sparsifying Transform Learning for Online Video Denoising

Bihan Wen, Saiprasad Ravishankar외 1명|arXiv (Cornell University)|2017. 10. 03.

Image and Signal Denoising Methods참고 문헌 40인용 수 3

한 줄 요약

이 논문은 실시간으로 시공간 영상 패치에서 고차원 희박화 변환을 학습하는 온라인 영상 정화 프레임워크인 VIDOSAT을 제안한다. 온라인 변환 학습과 선택적 블록 매칭을 통한 운동 보정을 활용하여 VIDOSAT는 VBM3D, VBM4D 및 고정된 3D DCT를 초월하여 다양한 데이터셋에서 평균 PSNR 기준 최대 3.5 dB 향상된 최신 기술 수준의 정화 성능을 달성한다.

ABSTRACT

Techniques exploiting the sparsity of images in a transform domain have been effective for various applications in image and video processing. Transform learning methods involve cheap computations and have been demonstrated to perform well in applications such as image denoising and medical image reconstruction. Recently, we proposed methods for online learning of sparsifying transforms from streaming signals, which enjoy good convergence guarantees, and involve lower computational costs than online synthesis dictionary learning. In this work, we apply online transform learning to video denoising. We present a novel framework for online video denoising based on high-dimensional sparsifying transform learning for spatio-temporal patches. The patches are constructed either from corresponding 2D patches in successive frames or using an online block matching technique. The proposed online video denoising requires little memory, and offers efficient processing. Numerical experiments compare the performance to the proposed video denoising scheme but fixing the transform to be 3D DCT, as well as prior schemes such as dictionary learning-based schemes, and the state-of-the-art VBM3D and VBM4D on several video data sets, demonstrating the promising performance of the proposed methods.

연구 동기 및 목표

• 복잡한 운동을 동반한 다이나믹한 장면에서 실시간으로 고품질 영상 정화 문제를 해결한다.
• 고정된 변환(예: 3D DCT)의 한계와 영상 복원에서의 비용이 많이 드는 합성 사전 학습의 문제를 해결한다.
• 진행 중인 영상 콘텐츠에 적응하는 효율적인 온라인 학습 프레임워크를 개발한다.
• 적응형 변환 학습을 통한 시공간 상관관계 모델링을 통해 정화 성능을 향상시킨다.
• 빅데이터 및 스트리밍 애플리케이션에 적합한 메모리 효율적이고 확장 가능한 영상 정화를 실현한다.

제안 방법

• 연속된 영상 프레임에서 시공간 패치를 구성하거나 온라인 블록 매칭을 통해 운동을 캡처한다.
• 스트리밍 영상 데이터를 사용하여 온라인 방식으로 고차원 희박화 변환(W)을 학습한다.
• Wu의 임계처리를 통해 합리적인 효율성으로 희박한 코드 x를 계산하여 NP-완전 합성 코드화를 피한다.
• 수렴 보장을 갖춘 확률적 경사 하강법을 사용하여 반복적으로 변환 W를 업데이트한다.
• 블록 매칭을 학습 파이프라인에 통합하여 시간과 공간적으로 유사한 패치를 그룹화한다(VIDOSAT-BM).
• 학습된 변환을 사용하여 각 패치를 정화하고, 프레임 단위로 영상 재구성한다.

실험 결과

연구 질문

• RQ1 고정된 변환(예: 3D DCT)과 비교해 볼 때, 온라인 희박화 변환 학습이 영상 정화 성능을 향상시킬 수 있는가?
• RQ2 속도, 정확도, 메모리 사용량 측면에서 온라인 변환 학습은 사전 기반 사전 학습 방법과 어떻게 비교되는가?
• RQ3 변환 학습 파이프라인에 블록 매칭을 통합할 경우, 운동이 있는 영상의 정화 성능 향상 정도는 어느 정도인가?
• RQ4 낮은 메모리 프로필을 유지하면서도 실시간 처리가 가능한가?
• RQ5 학습된 변환은 시간이 지남에 따라 다이나믹한 영상 콘텐츠에 어떻게 적응하는가?

주요 결과

• VIDOSAT-BM는 모든 테스트 영상 및 노이즈 수준에서 VBM3D보다 평균 3.5 dB, VBM4D보다 2.1 dB, sKSVD보다 1.2 dB 향상된 PSNR를 달성했다.
• VIDOSAT-BM는 모든 영상 및 노이즈 수준에서 VBM3D와 VBM4D를 포함한 모든 경쟁 방법을 일관되게 능가했다.
• VIDOSAT-BM의 평균 PSNR는 VIDOSAT보다 0.3 dB 높았으며, 이는 운동 모델링을 위한 블록 매칭의 유용성을 입증한다.
• VIDOSAT의 학습된 변환은 시간이 지남에 따라 진화했으며, 운동을 보상하기 위해 깊이 방향으로 선형 이동을 보이는 적응형 구조를 보였다.
• Bicycle와 같은 매우 다이나믹한 영상에서는 VIDOSAT-BM가 VIDOSAT와 VBM4D를 크게 능가했으며, 안정적인 프레임 단위 PSNR 향상을 보였다.
• 시각적 결과는 VIDOSAT-BM가 움직이는 영역의 아티팩트를 줄이고 정적 영역의 디테일를 유지함으로써 VBM4D와 VBM3D를 초월하는 품질을 확보했다.