[논문 리뷰] A Bayesian Perspective on the Deep Image Prior

Zezhou Cheng, Matheus Gadelha외 2명|arXiv (Cornell University)|2019. 04. 16.

Image and Signal Denoising Methods참고 문헌 13인용 수 8

한 줄 요약

이 논문은 깊이 있는 이미지 프라이어르(DIP)에 대한 베이지안 해석을 제공하며, 무한한 네트워크 너비의 극한에서, 무작위 가중치를 가진 컨볼루션 네트워크와 정적 입력이 가우시안 프로세스로 수렴함을 보여준다. 이 프로세스는 학습 가능한 커널을 가진다. 저자들은 사전 분포 추론을 위해 확률적 경량화 랭그비안 동역학(SGLD)을 사용하여 조기 정지의 필요성을 제거하고, 불확실성 정량화를 통한 이미지 복원 및 복원 작업에서 성능을 향상시킨다.

ABSTRACT

The deep image prior was recently introduced as a prior for natural images. It represents images as the output of a convolutional network with random inputs. For "inference", gradient descent is performed to adjust network parameters to make the output match observations. This approach yields good performance on a range of image reconstruction tasks. We show that the deep image prior is asymptotically equivalent to a stationary Gaussian process prior in the limit as the number of channels in each layer of the network goes to infinity, and derive the corresponding kernel. This informs a Bayesian approach to inference. We show that by conducting posterior inference using stochastic gradient Langevin we avoid the need for early stopping, which is a drawback of the current approach, and improve results for denoising and impainting tasks. We illustrate these intuitions on a number of 1D and 2D signal reconstruction tasks.

연구 동기 및 목표

• 네트워크 너비가 증가함에 따라 DIP의 점근적 행동을 분석하여 이론적 베이지안 기반을 제공한다.
• 정적 입력에 대해 무작위 가중치를 가진 깊은 컨볼루션 네트워크가 유도하는 커널 함수의 명시적 형태를 유도하며, 공간 공분산 구조를 특성화한다.
• DIP에서의 과적합 위험을 해결하기 위해 히وري스틱한 조기 정지를 원칙적인 베이지안 사후 추론으로 대체한다.
• 사전 분포 추론을 위한 확률적 경량화 랭그비안 동역학(SGLD)을 사용하여 노이즈 제거 및 이미지 복원에서의 이미지 복원 성능을 향상시킨다.
• 사후 표본에서 분산 추정을 통해 이미지 복원의 불확실성 정량화를 가능하게 한다.

제안 방법

• 연속성 사상 정리와 강한 대수법칙을 사용하여, 무한한 넓이 극한에서 무작위 가중치와 정적 입력을 가진 깊은 컨볼루션 네트워크가 정적 가우시안 프로세스로 수렴함을 증명한다.
• 네트워크 깊이, 필터 크기, 활성화 함수(예: ReLU, erf) 및 입력 상관 구조의 함수로 커널의 해석적 형태를 유도한다.
• 한계 가우시안 프로세스를 사전 분포로 사용하여, 확률적 경량화 랭그비안 동역학(SGLD)을 통한 완전한 사후 표본 추출을 가능하게 한다.
• SGLD 기반 사후 표본 추출을 구현하여 DIP 최적화에서 과적합을 방지하고 조기 정지의 필요성을 제거한다.
• 사후 표본 간 분산을 계산하여 재구성된 이미지의 불확실성 추정을 수행하며, 이를 히트맵으로 시각화한다.
• 1D 및 2D 신호 복원 작업, 특히 이미지 노이즈 제거 및 복원에서 방법을 검증하며, SGLD를 표준 SGD와 조기 정지를 사용한 기준과 비교한다.

실험 결과

연구 질문

• RQ1 채널 수가 무한히 증가할 때, 무작위 가중치와 정적 입력을 가진 깊은 컨볼루션 네트워크의 점근적 분포는 무엇인가요?
• RQ2 이 극한에서 네트워크 아키텍처와 활성화 함수가 유도하는 커널의 명시적 형태는 무엇인가요?
• RQ3 SGLD를 통한 베이지안 추론이 조기 정지를 포함한 표준 DIP 최적화보다 이미지 복원 작업에서 성능을 뛰어나게 할 수 있나요?
• RQ4 SGLD를 통한 사후 표본 추출은 분산 지도와 같은 의미 있는 불확실성 추정을 제공할 수 있나요?
• RQ5 아키텍처 선택(예: 스킵 연결, 깊이)은 유도된 커널과 복원 성능에 어떤 영향을 미치나요?

주요 결과

• 딥 이미지 프라이어르(DIP)는 점근적으로 네트워크 아키텍처와 활성화 함수로부터 해석적으로 유도된 커널을 가진 정적 가우시안 프로세스와 동치이다.
• 유도된 커널은 컨볼루션, 비선형성, 풀링 및 스킵 연결이 유도하는 공간 공분산 구조를 포괄하며, 원칙적인 사전 분포 설계를 가능하게 한다.
• SGLD 기반 사후 추론은 과적합을 자연스럽게 방지하기 때문에 조기 정지의 필요성을 제거한다.
• 이미지 노이즈 제거 작업에서 SGLD는 노이즈 수준(σ²)에 가까운 최종 MSE를 달성하는 반면, 조기 정지를 포함한 표준 SGD는 과적합되어 MSE가 0에 수렴한다.
• 이미지 복원 작업에서 SGLD는 기준 방법보다 높은 PSNR(예: 32.95 vs. 30.78)를 달성하며, 균일한 영역에서 분산이 낮은 의미 있는 불확실성 지도를 생성한다.
• 사후 표본에서의 분산 추정은 균일한 영역(예: 하늘, 벽)에서 낮은 불확실성과 객체 경계 근처에서 높은 불확실성을 반영하며, 직관적인 기대와 일치한다.