[논문 리뷰] Basis Prediction Networks for Effective Burst Denoising with Large Kernels

Zhihao Xia, Federico Perazzi외 3명|arXiv (Cornell University)|2019. 12. 09.

Image and Signal Denoising Methods참고 문헌 40인용 수 7

한 줄 요약

이 논문은 이미지 버스트 노이즈 제거를 위한 Basis Prediction Networks (BPNs)를 제안한다. BPNs는 각 픽셀의 노이즈 제거 커널을 공유되는 전역 기저 커널과 각 픽셀의 계수로 선형 조합으로 표현하여 출력 차원을 감소시키고, 큰 커널을 효율적이고 고성능으로 사용할 수 있도록 한다. 이 방법은 최신 기술인 커널 예측 네트워크(KPNs)보다 1 dB 이상의 PSNR 향상을 달성하면서도 추론 속도가 빠르며, 이미지 버스트 내의 시공간 자기유사성을 활용한다.

ABSTRACT

Bursts of images exhibit significant self-similarity across both time and space. This motivates a representation of the kernels as linear combinations of a small set of basis elements. To this end, we introduce a novel basis prediction network that, given an input burst, predicts a set of global basis kernels -- shared within the image -- and the corresponding mixing coefficients -- which are specific to individual pixels. Compared to state-of-the-art techniques that output a large tensor of per-pixel spatiotemporal kernels, our formulation substantially reduces the dimensionality of the network output. This allows us to effectively exploit comparatively larger denoising kernels, achieving both significant quality improvements (over 1dB PSNR) and faster run-times over state-of-the-art methods.

연구 동기 및 목표

• 버스트 노이즈 제거를 위해 고차원의 각 픽셀 커널을 생성하는 커널 예측 네트워크(KPNs)의 높은 메모리 및 계산 비용을 해결하기 위해.
• 이미지 버스트 내에서 강력한 자기유사성(공간적 및 시간적 모두)을 활용하여 커널 표현의 복잡도를 감소시키기 위해.
• 노이즈 제거 성능을 유지하면서 더 큰 노이즈 제거 커널을 사용할 수 있도록 하기 위해.
• 성능을 저하시키지 않고 노이즈 제거 네트워크의 출력 차원을 감소시키기 위해.
• 구조화된 커널 출력을 통해 푸리에 도메인 필터링을 가능하게 하여 추론 속도와 메모리 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 전역 기저 집합(크기 B)과 각 픽셀에 대한 길이 B의 계수 벡터를 동시에 예측하는 Basis Prediction Networks(BPNs)를 도입한다.
• 각 픽셀의 노이즈 제거 커널은 예측된 각 픽셀의 계수로 가중된 전역 기저 커널의 선형 조합으로 재구성된다.
• 기저와 계수 헤드는 입력 버스트를 처리하여 이 두 출력을 생성하는 깊은 신경망으로 구현된다.
• 예측된 커널의 저랭크 구조를 활용하여 최종 노이즈 제거 단계를 푸리에 도메인에서 효율적으로 수행한다.
• 예측된 결과와 진짜 노이즈 제거된 이미지 간의 픽셀 단위 L2 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 색상 노이즈 제거를 위해 기저를 색상 채널을 포함하도록 확장하여 3K²T×B 기저 행렬과 각 픽셀에 대한 별도의 계수 벡터를 생성한다.

실험 결과

연구 질문

• RQ1 각 픽셀의 노이즈 제거 커널에 대한 저차원 기저 표현이 이미지 버스트 내의 시공간적 구조를 효과적으로 포착할 수 있는가?
• RQ2 커널 예측 네트워크의 출력 차원을 감소시켜 훈련 안정성과 추론 효율성을 향상시키되, 노이즈 제거 품질을 떨어뜨리지 않을 수 있는가?
• RQ3 커널 출력이 저차원 부분공간에 제약을 받는 경우에도 큰 커널을 버스트 노이즈 제거에 효과적으로 사용할 수 있는가?
• RQ4 제안된 기저 기반 커널 표현 방식은 표준 KPNs와 비교해 PSNR, FLOPs, 실행 시간 측면에서 어떻게 성능을 냈는가?
• RQ5 이 방법은 효율성과 성능 향상을 유지하면서 색상 이미지 노이즈 제거로 일반화될 수 있는가?

주요 결과

• 제안된 BPN 방법은 회색조 및 색상 테스트 세트에서 모든 노이즈 수준에서 최신 기술인 KPNs보다 1 dB 이상의 PSNR 향상을 달성한다.
• 1024×768 이미지에서 BPN은 푸리에 도메인 필터링 최적화와 더 나은 캐시 활용 덕분에 KPN과 분리형 KPN보다 빠른 속도로 실행된다.
• 예측된 커널의 저랭크 구조를 활용하여 커널 필터링에 필요한 FLOPs 수를 감소시킨다.
• 예측된 커널의 시각화 결과는 KPNs가 일부 프레임에 치우치는 것과 달리, BPNs는 커널이 더 균일하게 모든 프레임에 분포되어 있으며 운동 패턴과 일치함을 보여준다.
• 각 픽셀의 계수를 군집화하면 수평 및 수직 에지와 같은 의미 있는 공간적 구조가 드러나며, 이는 방법이 의미 있는 표현을 학습하고 있음을 확인한다.
• 이 방법은 색상 버스트 노이즈 제거로도 잘 일반화되며, 모든 노이즈 수준에서 KPNs보다 1 dB 이상의 PSNR 향상을 유지한다.