[논문 리뷰] Learning Deformable Kernels for Image and Video Denoising

Xiangyu Xu, Muchen Li외 1명|arXiv (Cornell University)|2019. 04. 15.

Image and Signal Denoising Methods참고 문헌 30인용 수 37

한 줄 요약

이 논문은 CNN으로 학습된 변형 가능한 2D 및 3D 커널이 이미지 및 비디오 노이즈 제거를 위해 픽셀 샘플링과 가중치를 명시적으로 수행하도록 하여 구조, 정합 불일치, 그리고 큰 모션 처리 향상을 얻는다.

ABSTRACT

Most of the classical denoising methods restore clear results by selecting and averaging pixels in the noisy input. Instead of relying on hand-crafted selecting and averaging strategies, we propose to explicitly learn this process with deep neural networks. Specifically, we propose deformable 2D kernels for image denoising where the sampling locations and kernel weights are both learned. The proposed kernel naturally adapts to image structures and could effectively reduce the oversmoothing artifacts. Furthermore, we develop 3D deformable kernels for video denoising to more efficiently sample pixels across the spatial-temporal space. Our method is able to solve the misalignment issues of large motion from dynamic scenes. For better training our video denoising model, we introduce the trilinear sampler and a new regularization term. We demonstrate that the proposed method performs favorably against the state-of-the-art image and video denoising approaches on both synthetic and real-world data.

연구 동기 및 목표

• 손으로 설계된 규칙에 의존하기보다는 노이즈 제거에서 고전적 선택 및 평균화 과정을 학습하도록 동기를 부여한다.
• 영상 구조에 맞춰 샘플링 위치와 가중치를 적응시키는 변형 가능한 커널을 개발하여 노이즈 제거 품질을 향상시킨다.
• 비디오 노이즈 제거에서 큰 모션을 다루고 아티팩트를 줄이기 위해 3D 변형 가능한 커널로 확장한다.
• 3D 커널 학습의 안정화를 위한 어닐링(온도 감소) 기반 정규화 등 학습 전략을 도입한다.
• 합성 데이터와 실제 데이터에서 최첨단 이미지 및 비디오 노이즈 제거 방법과 비교 평가한다.

제안 방법

• CNN(오프셋 네트워크)을 사용해 픽셀당 변형 가능한 커널 오프셋을 추정한다.
• 예측된 오프셋 위치에서 이중 선형 보간(Bilinear) / 삼중 선형 보간(Trilinear)으로 노이즈 입력의 픽셀을 샘플한다.
• 샘플링된 픽셀, 입력, 오프셋 특성을 연결한 것으로부터 공간적으로 가변적인 커널 가중치 F를 계산해 Y = sum X(sampled) * F를 형성한다.
• 비디오의 경우 공간-시간 공간에 걸쳐 샘플링하는 3D 변형 가능한 커널을 사용하고 트라이리니어 보간을 적용한다.
• 훈련 중 커널 그룹 간의 다양한 시간 샘플링을 유도하는 어닐링 정규화를 도입한다.
• 감마 보정으로 지각 품질을 위한 선택적 포함 시 선형 공간에서 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 변형 가능하고 학습 가능한 샘플링 그리드가 이미지 및 비디오 노이즈 제거에서 고정된 뻣뻣한 커널보다 더 나은 성능을 보일 수 있는가?
• RQ2 2D 접근법에 비해 3D 변형 커널이 동적 장면에서 큰 모션 및 정합 불일치를 더 잘 처리하는가?
• RQ3 어닐링 기반 정규화가 비디오 노이즈 제거에서 최적화 및 샘플의 시간적 활용을 개선하는가?
• RQ4 학습된 변형 커널이 합성 데이터 및 실제 데이터에서 최첨단 노이즈 제거 방법과 어떻게 비교되는가?

주요 결과

• 변형 커널은 샘플링 위치와 가중치를 적응하도록 학습하여 경직된 커널에 비해 노이즈 제거 품질을 향상시키고 아티팩트를 감소시킨다.
• 대규모 모션이 있는 비디오에서 3D 변형 커널은 신뢰할 수 있는 프레임들에 샘플을 분배하여 2D 대응보다 우수하다.
• 제안된 방법은 합성 실험에서 단일 이미지와 비디오 노이즈 제거 모두에서 PSNR/SSIM에 대해 최첨단 방법에 비해 우수한 성능을 달성한다.
• 어닐링 정규화는 샘플이 기준 프레임 주위에 집중되는 로컬 최적점들을 피하도록 도와 더 넓은 시간 활용을 가능하게 한다.
• 이 방법은 실제 노이즈 이미지 및 휴대전화로 촬영한 비디오에도 일반화되어 섬세한 에지를 회복하고 아티팩트를 줄인다.
• Ablation 연구는 성능을 위한 동적 가중치, 변형 샘플링 및 어닐링의 중요성을 보여준다.