[논문 리뷰] Denoising and Regularization via Exploiting the Structural Bias of Convolutional Generators

Reinhard Heckel, Mahdi Soltanolkotabi|arXiv (Cornell University)|2019. 10. 31.

Image and Signal Denoising Methods참고 문헌 42인용 수 56

한 줄 요약

이 논문은 고도로 과대 매개된 고정 커널 합성곱 생성기가 노이즈보다 낮주파수의 자연 이미지 구조를 더 빨리 맞추려는 편향 때문에 조기 중단으로 학습될 때 역문제의 노이즈 제거 및 정규화를 가능하게 한다는 것을 보여준다.

ABSTRACT

Convolutional Neural Networks (CNNs) have emerged as highly successful tools for image generation, recovery, and restoration. A major contributing factor to this success is that convolutional networks impose strong prior assumptions about natural images. A surprising experiment that highlights this architectural bias towards natural images is that one can remove noise and corruptions from a natural image without using any training data, by simply fitting (via gradient descent) a randomly initialized, over-parameterized convolutional generator to the corrupted image. While this over-parameterized network can fit the corrupted image perfectly, surprisingly after a few iterations of gradient descent it generates an almost uncorrupted image. This intriguing phenomenon enables state-of-the-art CNN-based denoising and regularization of other inverse problems. In this paper, we attribute this effect to a particular architectural choice of convolutional networks, namely convolutions with fixed interpolating filters. We then formally characterize the dynamics of fitting a two-layer convolutional generator to a noisy signal and prove that early-stopped gradient descent denoises/regularizes. Our proof relies on showing that convolutional generators fit the structured part of an image significantly faster than the corrupted portion.

연구 동기 및 목표

• 훈련되지 않은 합성곱 생성기가 왜 노이즈 제거 및 정규화를 위한 강력한 이미지 사전으로 작용하는지 동기 부여하고 이해한다.
• 두 계층 합성곱 생성기를 잡음 신호에 맞출 때 경사 하강의 역학을 특성화한다.
• 고정 보간 커널이 자연 이미지 구조를 노이즈보다 더 빠르게 맞추도록 하여 효과적인 조기 중단 노이즈 제거를 가능하게 한다.
• 현실적인 신호 모델 하에서 근사 최적의 노이즈 제거 속도를 보장하는 이론적 보장을 제공한다.

제안 방법

• 고정 커널 U와 학습 가능한 C를 가지는 과다 매개화된 두 계층 합성곱 생성기 G(C) = ReLU(UC)v를 분석한다.
• 잡음 제거 문제를 y = x + z로 모델링한다. 여기서 x는 처음 p개의 삼각함수 기반의 스팬에 위치하고 z는 가우시안 노이즈이다.
• L(C) = 1/2||y - G(C)||^2인 비선형 최소제곱 손실 하에서 C에 대한 경사하강 동역학을 도출하고 이를 초기화 주변의 선형화된 야코비안과 관련짓는다.
• 야코비안의 왼쪽 특이 벡터가 삼각 함수 기반의 베이스를 근사하고, 관련 특이값(이중 커널)이 저주파 성분을 선호함을 보인다.
• 주파수 성분과 관련된 가중치의 감소를 활용하여 조기 중단 하에서 노이즈 제거 한계와 재구성 동역학을 증명한다.
• 다계층의 중간 정도로 과다 매개화된 네트워크로 통찰을 확장하고 이론과의 경험적 일관성을 논의한다.

실험 결과

연구 질문

• RQ1 고정된 합성곱 커널이 경사 하강이 자연 이미지 구조를 노이즈에 비해 얼마나 빠르게 학습하는지에 어떤 영향을 미치는가?
• RQ2 조기 중단이 과다 매개화된 두 계층 합성곱 생성기에 대해 증명 가능한 노이즈 제거 및 정규화 보장을 제공하는가?
• RQ3 야코비안 스펙트럼에서 저주파 성분이 노이즈 제거 동역학을 이끄는 역할은 무엇인가?
• RQ4 더 깊거나 중간 정도로 과다 매개화된 네트워크로 이론적 통찰이 확장되는가, 어떤 조건하에서인가?
• RQ5 다른 보간 커널(예: 삼각형 대 가우시안)이 이중 커널을 통해 노이즈 제거 성능에 어떤 영향을 미치는가?

주요 결과

• 고정 보간 커널을 갖는 합성곱은 경사 하강 중에 자연 이미지가 노이즈보다 훨씬 더 빠르게 학습되게 만든다.
• 조기 중단은 저주파 성분 수로 스케일된 잡음 분산에 비례하는 최적 속도에 근접한 속도로 노이즈 제거를 달성한다.
• 동역학은 야코비안의 스펙트럼에 의해 좌우되며, 선도 방향은 네트워크 아키텍처에 의해 결정되고 학습된 필터가 아닌 저주파 삼각 함수 베이스와 일치한다.
• 충분한 채널 수와 적절한 중단 시점을 갖는 2계층 합성곱 생성기는 주어진 신호 모델에서 거의 최적의 노이즈 제거 한계를 달성한다.
• 다계층 네트워크에서도 야코비안의 선도 특이 벡터가 학습 중 저주파 구성 요소에 가까이 남아 있어 가장 단순한 모델을 넘어서는 이론적 통찰을 뒷받침한다.
• 경험적 결과는 학습 데이터 없이도 조기 중단을 갖춘 고정 커널 생성기가 BM3D 같은 기준선보다 노이즈 제거 작업에서 우수함을 시사한다.