[논문 리뷰] PIP: Positional-encoding Image Prior

Nimrod Shabtay, Eli Schwartz외 1명|arXiv (Cornell University)|2022. 11. 25.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 딥 이미지 프라이어리(DIP)의 랜덤 잠재 코드를 푸리에 특징(Fourier features, 위치 인코딩)으로 대체하는 새로운 프레임워크인 위치 인코딩 이미지 프라이어리(PIP)를 제안한다. 이로 인해 단순한 픽셀 수준의 MLP가 DIP의 CNN과 유사한 성능을 내며, 훨씬 적은 파라미터를 사용할 수 있게 되었다. PIP는 특히 비디오 노이즈 제거와 초해상도 증강에서 3D-DIP가 불안정성으로 인해 실패하는 경우에 뛰어난 성능을 보이며, 이미지 및 비디오 복원 분야에서 최신 기준 성능을 달성한다.

ABSTRACT

In Deep Image Prior (DIP), a Convolutional Neural Network (CNN) is fitted to map a latent space to a degraded (e.g. noisy) image but in the process learns to reconstruct the clean image. This phenomenon is attributed to CNN's internal image-prior. We revisit the DIP framework, examining it from the perspective of a neural implicit representation. Motivated by this perspective, we replace the random or learned latent with Fourier-Features (Positional Encoding). We show that thanks to the Fourier features properties, we can replace the convolution layers with simple pixel-level MLPs. We name this scheme ``Positional Encoding Image Prior" (PIP) and exhibit that it performs very similarly to DIP on various image-reconstruction tasks with much less parameters required. Additionally, we demonstrate that PIP can be easily extended to videos, where 3D-DIP struggles and suffers from instability. Code and additional examples for all tasks, including videos, are available on the project page https://nimrodshabtay.github.io/PIP/

연구 동기 및 목표

• 구조적 노이즈를 RGB 값으로 매핑하는 신경 은닉 모델로 딥 이미지 프라이어리(DIP)를 재해석하기.
• 위치 인코딩(Fourier 특징)이 DIP의 랜덤 잠재 코드를 대체할 수 있는지, 그 이미지 프라이어리 효과를 유지할 수 있는지 조사하기.
• MLP에 푸리에 특징을 사용하여 DIP의 대안으로서 파라미터 효율적인 모델을 개발하고 복잡도를 감소시키기.
• 시간적 일致성과 안정성의 한계로 어려움을 겪는 3D-DIP를 보완하기 위해 프레임워크를 비디오 복원으로 확장하기.
• PIP이 노이즈가 많거나 희소한 입력을 다룰 수 있는 NeRF 및 유사 은닉 모델의 성공을 설명할 수 있는지, 다양한 이미지 및 비디오 작업(노이즈 제거, 초해상도 증강, CLIP 역할 등)에 일반화되는지 검증하기.

제안 방법

• 공간 좌표를 인코딩하기 위해 DIP의 랜덤 잠재 입력을 푸리에 특징(위치 인코딩)으로 대체하기.
• 딥 CNN 대신 단순한 픽셀 수준의 MLP(1×1 컨벌루션)를 사용하여, 푸리에 특징의 스펙트럼 편향 보정 효과를 활용하기.
• 선형 네트워크의 경우, 푸리에 특징을 가진 MLP와 랜덤 입력을 가진 CNN 간의 등가성을 증명하기.
• 비디오 작업을 위해 2D-PIP 프레임워크를 시간적 위치 인코딩을 추가하여 3D로 확장하기.
• 특징 계층을 유지하기 위해 스킵 연결과 U-Net 스타일 아키텍처를 유지하면서, 컨벌루션 레이어를 MLP로 대체하기.
• 조기 정지(early stopping)를 통해 정규화를 수행하면서, 인코딩된 좌표에서 RGB 픽셀 값으로 매핑하는 데 대해 엔드 투 엔드로 모델을 훈련하기.

실험 결과

연구 질문

• RQ1 푸리에 특징이 DIP의 랜덤 잠재 코드를 효과적으로 대체할 수 있는가? 이로 인해 이미지 프라이어리 능력은 유지되는가?
• RQ2 위치 인코딩을 사용할 경우, DIP의 컨벌루션 인코더를 단순한 MLP로 대체할 수 있는가?
• RQ3 파라미터 수가 감소한 상황에서 PIP는 이미지 복원 작업에서 DIP와 유사하거나 더 뛰어난 성능을 내는가?
• RQ4 3D-DIP가 불안정성과 낮은 시간적 일관성으로 어려움을 겪는 비디오 복원 작업에 PIP를 효과적으로 확장할 수 있는가?
• RQ5 PIP에서 위치 인코딩을 사용함으로써, NeRF 및 유사 은닉 모델이 노이즈가 많거나 희소한 입력을 다룰 수 있는 성공을 설명할 수 있는가?

주요 결과

• 비디오 노이즈 제거에서 PIP는 PSNR 29.29와 3D-SSIM 0.90을 기록하여, 3D-DIP보다 PSNR +3dB, 3D-SSIM +0.08 향상되었다.
• 3D-PIP는 3D-DIP 대비 파라미터를 6배 줄였고, 더 뛰어난 재구성 및 시간적 일관성을 달성했다.
• 노이즈 제거(σ=25)에서 PIP는 PSNR 26.17을 기록하여, 파라미터 수가 훨씬 적은 상황에서 DIP의 성능(26.35)을 정확히 따라잡았다.
• 초해상도 증강(x4)에서 PIP는 PSNR 25.45와 3D-SSIM 0.78를 기록하여, DIP의 25.54와 0.81과 유사한 성능을 보였다.
• 비디오 작업에서 3D-PIP는 2D-DIP와 2D-PIP 모두를 능가하는 성능을 보이며, 시간적 일관성과 재구성 품질 면에서 뛰어난 우수성을 입증했다.
• PIP를 사용한 CLIP 역할은 DIP와 유사한 시각적 품질의 고해상도 이미지를 생성하여, 그 생성 능력을 검증했다.