[논문 리뷰] CNN Denoisers as Non-Local Filters: The Neural Tangent Denoiser.

Julián Tachella, Junqi Tang외 1명|arXiv (Cornell University)|2020. 06. 03.

Image and Signal Denoising Methods참고 문헌 17인용 수 3

한 줄 요약

이 논문은 신경미분핵심 커널(NTK)을 통해 CNN 디노이저를 비국소 필터로 해석하는 이론적 프레임워크인 신경미분핵심디노이저(NTD)를 소개한다. 이 프레임워크는 학습 없이도 닫힌 형태의 필터 유도를 가능하게 하며, Adam 최적화가 NTK가 예측하는 것보다 더 큰 가중치 변화를 유도함으로써 적응형 비국소 필터링을 가능하게 한다. 이는 광범위한 이미지 디노이징 실험을 통해 검증되었다.

ABSTRACT

Convolutional Neural Networks (CNNs) are now a well-established tool for solving computational imaging problems. Modern CNN-based algorithms obtain state-of-the-art performance in diverse image restoration problems. Furthermore, it has been recently shown that, despite being highly overparameterized, networks trained with a single corrupted image can still perform as well as fully trained networks, a phenomenon encapsulated in the deep image prior. We introduce a novel interpretation of denoising networks with no clean training data in the context of the neural tangent kernel (NTK), elucidating the strong links with well-known non-local filtering techniques, such as non-local means or BM3D. The filtering function associated with a given network architecture can be obtained in closed form without need to train the network, being fully characterized by the random initialization of the network weights. While the NTK theory accurately predicts the filter associated with networks trained using standard gradient descent, our analysis shows that it falls short to explain the behaviour of networks trained using the popular Adam optimizer. The latter achieves a larger change of weights in hidden layers, adapting the non-local filtering function during training. We evaluate our findings via extensive image denoising experiments.

연구 동기 및 목표

• 청결한 데이터 없이 훈련된 CNN 디노이저의 일반화 행동을 이해하는 것, 특히 딥 이미지 프라이어리의 맥락에서.
• 기본적인 비국소 필터링 기법(예: 비국소 평균, BM3D)과 CNN 기반 디노이저 간의 이론적 연결을 수립하는 것.
• NTK 이론 예측과 Adam 최적화로 훈련된 네트워크의 실제 행동 간의 격리 분석.
• 학습 없이도 네트워크 가중치 초기화만을 기반으로 디노이징 네트워크의 필터링 함수를 닫힌 형태로 유도하는 것.
• 제안된 프레임워크의 실증적 성능을 이미지 디노이징 벤치마크에서 평가하는 것.

제안 방법

• 네트워크 가중치의 무작위 초기화만을 기반으로 신경미분핵심 커널(NTK)을 사용해 CNN 디노이저의 필터링 함수를 닫힌 형태로 유도한다.
• NTK 이론을 적용해 표준 경사 하강법으로 훈련된 디노이징 네트워크의 출력을 예측한다.
• NTK 예측과 Adam 최적화로 훈련된 실제 네트워크 행동을 비교하여 상당한 이격을 확인한다.
• Adam이 은닉층에서 NTK 예측을 초월하는 더 큰 가중치 갱신을 유도함으로써 훈련 중 비국소 필터링 함수의 동적 적응이 가능하다는 것을 입증한다.
• 표준 벤치마크에서 광범위한 이미지 디노이징 실험을 통해 이론적 프레임워크를 검증한다.
• NTK 프레임워크를 활용해 디노이징 과정을 비국소 필터링 작동으로 해석하고, 딥 러닝과 전통적인 영상 처리 기법 간의 연결 고리를 제공한다.

실험 결과

연구 질문

• RQ1 청결한 데이터 없이 훈련된 CNN 디노이저의 필터링 행동을 신경미분핵심 커널을 사용해 닫힌 형태로 어떻게 특성화할 수 있는가?
• RQ2 NTK 이론은 표준 경사 하강법으로 훈련된 디노이징 네트워크의 행동을 어느 정도 정확하게 예측하는가?
• RQ3 왜 Adam 최적화가 NTK 이론 예측을 초월해 더 나은 디노이징 성능을 내는가?
• RQ4 CNN 디노이저와 비국소 평균 또는 BM3D와 같은 전통적인 비국소 필터링 기법 간의 관계는 무엇인가?
• RQ5 학습 없이도 무작위 가중치 초기화만으로 디노이징 네트워크의 필터링 함수를 완전히 결정할 수 있는가?

주요 결과

• NTD 프레임워크를 통해 CNN 디노이저의 필터링 함수는 네트워크의 무작위 가중치 초기화만을 기반으로 닫힌 형태로 유도되며, 학습이 전혀 필요하지 않다.
• NTK 이론은 표준 경사 하강법으로 훈련된 네트워크의 필터링 행동을 정확하게 예측하며, 이는 이 영역에서의 타당성을 확인한다.
• Adam 최적화로 훈련된 네트워크는 NTK 예측을 초월해 은닉층에서 상당히 큰 가중치 갱신을 보이며, 이는 향상된 디노이징 성능으로 이어진다.
• Adam 최적화된 네트워크는 훈련 중 비국소 필터링 함수를 적응적으로 변화시키며, NTK 이론은 이를 포착하지 못함으로써 NTK가 적응형 최적화를 설명하는 데 근본적인 한계를 지닌다는 것을 시사한다.
• 제안된 신경미분핵심디노이저 프레임워크는 단일 오염된 이미지로 훈련된 디노이저의 강력한 일반화를 성공적으로 설명하며, 이를 비국소 필터링 원리와 연결한다.
• 실증 결과는 이론적 예측이 이미지 디노이징 벤치마크에서 관측된 성능와 일치함을 확인하며, 프레임워크의 정확성과 유용성을 검증한다.