[논문 리뷰] Solving Inverse Problems with Hybrid Deep Image Priors: the challenge of preventing overfitting

Zhaodong Sun, Sanchez, Thomas외 2명|arXiv (Cornell University)|2020. 11. 03.

Image and Signal Denoising Methods참고 문헌 37인용 수 8

한 줄 요약

이 논문은 복소 이미지 우선순위(DIP)의 과적합 문제를 완화하기 위해 ADMM를 사용한 하이브리드 딥 이미지 프리오르를 제안한다. 소음이 많은 측정치와 과도하게 파rameter화된 네트워크로 인해 발생하는 DIP의 과적합 문제를 해결하기 위해, DIP를 총합(예: 총변동성) 또는 암시적 프리오르(예: 노이즈 제거 알고리즘)와 융합함으로써 최적화의 안정성과 노이즈 피팅 감소를 달성하고, 특히 고소음 수준에서 더 나은 복원 성능을 얻는다.

ABSTRACT

We mainly analyze and solve the overfitting problem of deep image prior (DIP). Deep image prior can solve inverse problems such as super-resolution, inpainting and denoising. The main advantage of DIP over other deep learning approaches is that it does not need access to a large dataset. However, due to the large number of parameters of the neural network and noisy data, DIP overfits to the noise in the image as the number of iterations grows. In the thesis, we use hybrid deep image priors to avoid overfitting. The hybrid priors are to combine DIP with an explicit prior such as total variation or with an implicit prior such as a denoising algorithm. We use the alternating direction method-of-multipliers (ADMM) to incorporate the new prior and try different forms of ADMM to avoid extra computation caused by the inner loop of ADMM steps. We also study the relation between the dynamics of gradient descent, and the overfitting phenomenon. The numerical results show the hybrid priors play an important role in preventing overfitting. Besides, we try to fit the image along some directions and find this method can reduce overfitting when the noise level is large. When the noise level is small, it does not considerably reduce the overfitting problem.

연구 동기 및 목표

• 과도하게 파rameter화된 네트워크와 노이즈가 많은 측정치로 인해 발생하는 딥 이미지 프리오르(DIP)의 과적합 문제를 해결한다.
• DIP를 총합 또는 암시적 프리오르(예: 총변동성, 노이즈 제거 알고리즘)와 융합할 수 있는 프레임워크를 개발하여 최적화를 안정화시킨다.
• ADMM 내부 루프의 계산 부담을 줄이면서도 수렴성과 복원 품질을 유지한다.
• 경사하강법의 동역학을 분석하여 DIP에서 과적합의 근본 원인을 이해한다.
• 주요 특이벡터를 沿한 방향성 피팅을 탐색하여 고소음 수준에서 노이즈 피팅을 억제한다.

제안 방법

• DIP 출력과 프리오르 제약 조건을 포함하는 제약 최적화 문제로 역문제를 공식화하고, ADMM를 사용해 교차 최소화를 수행한다.
• 계산을 줄이기 위해 두 가지 ADMM 변형을 제안한다: DIP-ADMM-v1(내부 루프 포함)과 DIP-ADMM-v2(각 단계에서 정확한 최소화)이다.
• ADMM 단계에서 프록시 오퍼레이터를 노이즈 제거 함수로 대체하여 암시적 프리오르(예: 노이즈 제거 알고리즘)를 통합한다.
• 측정 행렬의 특이값 분해(SVD)를 사용하여 최적화를 가장 정보가 풍부한 방향(첫 p개 특이벡터)으로 제한한다.
• 조기 정지와 방향성 피팅을 적용하여 과적합을 제어하며, 특히 고소음 수준에서 효과적이다.
• 과도하게 파arameter화된 특성 덕분에 약간의 변화를 보이는 것으로 간주할 수 있는 DIP의 야코비안을 활용해 경사하강법의 동역학을 분석한다.

실험 결과

연구 질문

• RQ1 DIP의 과적합 행동은 PSNR 곡선과 재구성된 이미지 품질 측면에서 어떻게 나타나는가?
• RQ2 DIP를 총합 또는 암시적 프리오르와 융합하면 역문제에서 과적합을 현저히 줄일 수 있는가?
• RQ3 주요 특이벡터를 따라 방향성 피팅을 수행할 경우, 다양한 소음 수준에서 과적합에 어떤 영향을 미치는가?
• RQ4 ADMM 변형 간의 계산적 트레이드오프(v1 대 v2)는 어떠한가? v2는 내부 루프를 피하면서도 성능을 손상시키지 않는가?
• RQ5 경사하강법의 동역학, 특히 DIP 야코비안의 특이값은 과적합 발생 시점과 어떻게 관련이 있는가?

주요 결과

• 특히 노이즈 제거 알고리즘과 융합된 하이브리드 프리오르가 DIP의 과적합을 효과적으로 억제하며, PSNR 곡선이 안정적이거나 향상됨을 보였다.
• DIP-ADMM-v2는 내부 루프를 피함으로써 정확한 최소화를 통해 DIP-ADMM-v1보다 복원 품질과 계산 시간 모두에서 뛰어난 성능을 보였다.
• 첫 p개 특이벡터를 따라 방향성 피팅을 수행하면 고소음 수준(예: σ = 100)에서 과적합을 감소시키지만, 저소음 수준(예: σ = 25)에서는 유의미한 이점이 없다.
• DIP의 야코비안은 다양한 특이벡터 방향으로의 피팅 속도를 결정하며, 저에너지 방향에서 노이즈를 피팅하기 시작할 때 과적합이 발생한다.
• 반복 수가 신호 성분이 완전히 포착된 시점 이후에 도달할 경우 과적합이 가장 두드러지며, 이로 인해 PSNR가 최초 정점 이후로 저하된다.
• 학습된 또는 사전학습된 노이즈 제거기로 암시적 프리오르를 사용하는 것이, 학습된 공분산과 평균 정규화에 의존하는 방법보다 더 융통성 있고 효율적이다.