[논문 리뷰] The Spectral Bias of the Deep Image Prior

Prithvijit Chakrabarty, Subhransu Maji|arXiv (Cornell University)|2019. 12. 18.

Image and Signal Denoising Methods참고 문헌 13인용 수 22

한 줄 요약

이 논문은 딥 이미지 프라이어리(DIP)의 노이즈 제거 성공 원인을 밝혀내며, 컨volutional 인코더-디코더 네트워크가 최적화 과정에서 고주파 성분보다 저주파 성분을 먼저 학습하는 스펙트럼 편향(spectral bias)을 보임을 입증한다. 따라서 조기 정지(early stopping)는 노이즈(일般적으로 고주파)를 억제하면서 깨끗한 이미지의 구조를 유지하는 저역통과 필터(low-pass filter)로 작용한다.

ABSTRACT

The "deep image prior" proposed by Ulyanov et al. is an intriguing property of neural nets: a convolutional encoder-decoder network can be used as a prior for natural images. The network architecture implicitly introduces a bias; If we train the model to map white noise to a corrupted image, this bias guides the model to fit the true image before fitting the corrupted regions. This paper explores why the deep image prior helps in denoising natural images. We present a novel method to analyze trajectories generated by the deep image prior optimization and demonstrate: (i) convolution layers of the an encoder-decoder decouple the frequency components of the image, learning each at different rates (ii) the model fits lower frequencies first, making early stopping behave as a low pass filter. The experiments study an extension of Cheng et al which showed that at initialization, the deep image prior is equivalent to a stationary Gaussian process.

연구 동기 및 목표

• 딥 이미지 프라이어리(DIP)가 명시적인 학습 데이터 없이도 자연 이미지의 노이즈 제거에 효과적인 이유를 설명하는 것.
• DIP의 성공 원인이 네트워크 아키텍처에 내재된 주파수 기반 인덕티브 바이어스(inductive bias)에 기인하는지 조사하는 것.
• 최적화 궤적을 주파수 도메인에서 분석하여 주파수 성분이 학습 순서대로 어떤 식으로 학습되는지 규명하는 것.
• 주파수 학습 동역학과 노이즈 제거 성능 측면에서 컨volutional 레이어와 풀커넥티드 레이어를 비교하는 것.
• 업샘플링 연산이 최적화 중 스펙트럼 편향과 모델 행동에 미치는 영향을 평가하는 것.

제안 방법

• 1D 및 2D 설정에서 DIP의 최적화 궤적을 추적하여, 두 개의 독립적인 실행 간 제곱합 오차(SSE) 변화를 측정함으로써 수렴 지점을 탐지하는 방법을 사용.
• 주파수 성분(저주파 대비 고주파)이 시간이 지남에 따라 어떻게 학습되는지 분석하기 위해 스펙트럼 분석을 활용하며, 명확한 수렴 속도의 차이를 식별.
• DIP의 컨볼루션 레이어를 풀커넥티드 레이어로 교체하여, 주파수 분리가 컨볼루션에 내재된 특성인지 테스트.
• 근사값(neighbor) 및 양자화(보간) 방식의 업샘플링 방법을 분석하여 주파수 응답과 출력의 부드러움에 미치는 영향을 평가.
• 노이즈 입력을 이미지로 매핑하도록 모델을 학습하고, 전체 최적화 궤적 동안 PSNR를 기록하여 노이즈 제거 성능을 평가.
• F-원칙(F-principle) 프레임워크를 적용하여 DIP가 저주파 성분을 먼저 학습함을 보여주며, 깊은 네트워크에서 알려진 스펙트럼 편향과 일관됨을 입증.

실험 결과

연구 질문

• RQ1 딥 이미지 프라이어리(DIP)는 최적화 과정에서 이미지의 저주파 성분을 고주파 성분보다 먼저 학습하는가?
• RQ2 컨볼루션 레이어의 스펙트럼 편향과 풀커넥티드 레이어의 스펙트럼 편향을 주파수 학습 순서 측면에서 비교하면 어떠한가?
• RQ3 업샘플링 연산(예: 스트라이드 크기)이 스펙트럼 편향과 생성된 이미지의 부드러움에 어느 정도의 영향을 미치는가?
• RQ4 DIP의 노이즈 제거 행동은 주파수 편향에 기인하는가? 그리고 이는 조기 정지의 효과성에 대한 설명이 될 수 있는가?
• RQ5 DIP가 실패하는 조건은 무엇이며, 이 실패는 저주파 노이즈 존재와 관련이 있는가?

주요 결과

• DIP는 이미지의 저주파 성분을 먼저 학습하며, 1D 신호에서 저주파 성분은 45회 반복, 고주파 성분은 151회 반복에 수렴한다.
• 컨볼루션 레이어가 풀커넥티드 레이어로 대체되면 두 주파수 성분이 동시에 학습되며, 저주파 재구성 성분이 나타나지 않아 스펙트럼 편향이 상실됨을 확인.
• 풀커넥티드 레이어를 사용한 DIP의 노이즈 제거 성능은 표준 DIP(PSNR: 27.47)에 비해 떨어지며, 더 높은 용량임에도 불구하고 PSNR: 20.54–27.58로 유의미하게 열등하여 주파수 분리의 부재로 인한 결과임을 확인.
• ReLU 활성화 함수를 사용하는 ReLUNet 모델은 풀커넥티드 레이어를 사용함에도 불구하고 표준 DIP와 유사한 PSNR 성능을 달성하여, 활성화 함수에 기인한 주파수 편향이 컨볼루션 인덕티브 바이어스를 대체할 수 있음을 시사.
• 더 큰 업샘플링 스트라이드(예: 32)는 더 부드러운 출력을 생성하며, 저주파 영역의 파wer 스펙트럼에서 오차 감소 속도가 더 느리며, 이는 더 강한 스펙트럼 편향을 의미함.
• DIP는 저주파 노이즈가 포함된 이미지(예: barbara.png)에서는 실패하며, 특히 초기 반복 수에서 노이즈가 진짜 고주파 콘텐츠보다 먼저 피팅되기 때문에, 신호와 스펙트럼이 일치하는 노이즈가 존재할 경우 스펙트럼 편향만으로는 충분하지 않음을 확인.