[논문 리뷰] Non-Local Video Denoising by CNN

Axel Davy, Thibaud Ehret외 3명|arXiv (Cornell University)|2018. 11. 30.

Image and Signal Denoising Methods참고 문헌 54인용 수 29

한 줄 요약

이 논문은 비디오 디노이징에 비디오 자기 유사성 검색을 통합한 새로운 CNN 아키텍처인 VNLNet을 제안한다. 먼저 비학습적 레이어를 통해 3차원 시공간 패치의 유사성을 식별한 후, 해당 패치의 중심 값들을 특징 벡터로 사용하여 CNN에 입력하여 깨끗한 영상 예측을 수행한다. 이 방법은 패치 기반 비국소 기법과 딥러닝을 효과적으로 융합함으로써 최신 기술 수준의 비디오 디노이징 성능을 달성하며, 이러한 높은 성능을 기록한 첫 번째 성공적인 CNN 기반 비디오 디노이징 접근법이다.

ABSTRACT

Non-local patch based methods were until recently state-of-the-art for image denoising but are now outperformed by CNNs. Yet they are still the state-of-the-art for video denoising, as video redundancy is a key factor to attain high denoising performance. The problem is that CNN architectures are hardly compatible with the search for self-similarities. In this work we propose a new and efficient way to feed video self-similarities to a CNN. The non-locality is incorporated into the network via a first non-trainable layer which finds for each patch in the input image its most similar patches in a search region. The central values of these patches are then gathered in a feature vector which is assigned to each image pixel. This information is presented to a CNN which is trained to predict the clean image. We apply the proposed architecture to image and video denoising. For the latter patches are searched for in a 3D spatio-temporal volume. The proposed architecture achieves state-of-the-art results. To the best of our knowledge, this is the first successful application of a CNN to video denoising.

연구 동기 및 목표

• 비디오 디노이징 분야에서 CNN가 자기 유사성 검색과 호환되지 않아 비국소 패치 기반 기법이 더 우수한 성능을 내는 격차를 해결하기 위해.
• 비학습적 비국소 레이어를 통해 비디오 자기 유사성을 효율적으로 통합하는 CNN 아키텍처를 개발하여 높은 디노이징 성능을 달성하기 위해.
• 비국소 기법과 딥러닝의 강점을 융합하여 비디오 디노이징에서 최신 기술 수준의 성능을 달성하기 위해.
• 비국소 검색을 GPU 가속을 고려해 최적화하여 실시간이고 효율적인 비디오 디노이징을 가능하게 하기 위해.

제안 방법

• 비학습적 초깃층이 3차원 시공간 패치 검색을 수행하여 각 픽셀 주변의 유사한 패치를 검색한다.
• 각 패치에 대해 상위-N개의 유사한 패치의 중심 픽셀 값을 수집하여 픽셀당 특징 벡터를 구성한다.
• 이 특징 벡터는 비국소적 맥락을 나타내며, 이를 표준 CNN에 입력하여 깨끗한 영상 프레임을 예측하기 위해 엔드 투 엔드 학습을 수행한다.
• 공유 메모리와 정렬된 테이블을 레지스터에 저장하여 GPU 최적화된 패치 거리 계산을 통해 N개의 최상위 매칭을 효율적으로 유지한다.
• 아키텍처는 풀링이나 스텝 컨볼루션을 사용하지 않아 전체 공간 해상도를 유지하며, 기존 CNN 설계와 호환된다.
• 비국소 레이어는 고정되어 있으며 학습되지 않으며, CNN은 깨끗한 영상-노이즈 영상 쌍을 기반으로 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 비디오 내 비국소 자기 유사성은 CNN 기반 디노이징 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 유사한 패치 특징을 수집하는 비학습적 비국소 레이어가 표준 CNN보다 비디오 디노이징 성능을 향상시키는가?
• RQ3 이 하이브리드 접근법은 전통적인 비국소 기법과 엔드 투 엔드 CNN을 모두 능가하는 최신 기술 수준의 비디오 디노이징 성능을 달성할 수 있는가?
• RQ4 현대 GPU에서 제안된 비국소 패치 검색 구현은 얼마나 효율적인가?
• RQ5 복잡한 운동 영역에서의 신뢰할 수 없는 매칭(예: 잘못된 매칭)이 네트워크 성능에 어떤 영향을 미치며, 이를 완화할 수 있는가?

주요 결과

• 제안된 VNLNet은 전통적인 비국소 기법과 표준 CNN을 모두 능가하는 최신 기술 수준의 비디오 디노이징 성능을 달성한다.
• 이 방법은 비국소 자기 유사성을 효과적으로 활용하는 첫 번째 성공적인 CNN 기반 비디오 디노이징 접근법이다.
• 비국소 검색 구현은 동일한 알고리즘을 사용하는 난이도 높은 GPU 구현 대비 25배 빠르다.
• 신뢰할 수 없는 매칭(예: 복잡한 운동 영역)이 발생하는 영역에서는 네트워크 성능이 단일 영상 디노이징 수준으로 떨어지며, 이는 적응형 패치 크기 또는 매칭 품질 피드백이 필요함을 시사한다.
• 최고의 성능을 얻기 위해 41×41 패치 크기를 사용한 검색이 가장 효과적이었으며, 이는 신뢰할 수 있는 패치 매칭의 중요성을 보여준다.
• 아키텍처는 전체 공간 해상도를 유지하며 풀링을 방지하여 세밀한 디테일을 보존한다.