[논문 리뷰] Early Stopping for Deep Image Prior

Hengkang Wang, Taihui Li외 4명|arXiv (Cornell University)|2021. 12. 11.

Sparse and Compressive Sensing Techniques인용 수 43

한 줄 요약

이 논문은 Ground-truth 이미지 없이 중간 재구성의 실행 분산(런닝 분산)을 모니터링하여 DIP와 그 변형들에서 거의 최적의 성능에 근접하는 조기 종료 전략을 제시합니다. 이 ES-WMV 방법은 여러 DIP 변형과 잡음 유형에 걸쳐 작동하며 실용성과 효율성을 향상시킵니다.

ABSTRACT

Deep image prior (DIP) and its variants have showed remarkable potential for solving inverse problems in computer vision, without any extra training data. Practical DIP models are often substantially overparameterized. During the fitting process, these models learn mostly the desired visual content first, and then pick up the potential modeling and observational noise, i.e., overfitting. Thus, the practicality of DIP often depends critically on good early stopping (ES) that captures the transition period. In this regard, the majority of DIP works for vision tasks only demonstrates the potential of the models -- reporting the peak performance against the ground truth, but provides no clue about how to operationally obtain near-peak performance without access to the groundtruth. In this paper, we set to break this practicality barrier of DIP, and propose an efficient ES strategy, which consistently detects near-peak performance across several vision tasks and DIP variants. Based on a simple measure of dispersion of consecutive DIP reconstructions, our ES method not only outpaces the existing ones -- which only work in very narrow domains, but also remains effective when combined with a number of methods that try to mitigate the overfitting. The code is available at https://github.com/sun-umn/Early_Stopping_for_DIP.

연구 동기 및 목표

• DIP 기반 역문제에서 ELTO(초기 학습-그다음 과적합) 현상을 동기 부여하고 다루는 것.
• DIP 변형과 잡음 유형/레벨 전반에서 작동하는 실용적이고 Ground-truth-free ES 기준을 개발하는 것.
• 최소 하이퍼파라미터 민감도와 함께 가벼운, 강건한 ES 방법을 제공하는 것.
• ES 방법을 규제된 DIP 모델과 암시적 신경 표현에 대한 보조 도구로 시연하는 것.
• 기존 ES 및 NR-IQM 기반 접근법과의 비교 분석을 제공하는 것.

제안 방법

• Unknown 이미지를 DIP 모델로 매개화하고 재구성 시퀀스 x^t = G_theta^t(z)를 추적한다.
• Ground-truth 없이 ELTO 밸리를 근사하기 위해 최근 재구성들에 대한 윈도우화된 이동 분산(VAR)을 정의한다. W의 윈도우 크기와 P의 인내심으로 VAR 곡선의 밸리를 ES로 탐지한다.
• ES-WMV를 위한 Algorithm 1과 확장된 메모리 효율적 변형으로 지수이동 분산(EMV)을 사용하는 옵션을 제공한다.
• 신경망 접선 커널(neural tangent kernel)을 통한 선형화된 학습 체계 아래 이론적으로 접근을 정당화한다; 적절한 학습률에서 VAR가 U자형 곡선을 따른다는 것을 보인다.
• 윈도우 크기와 인내심이라는 두 하이퍼파라미터에 대해 강건하며, 매 반복 비용에 비해 계산적 오버헤드가 작다고 논의한다.

실험 결과

연구 질문

• RQ1 중간 재구성의 실행 분산만으로 ES 기준이 다양한 작업에서 DIP의 거의 최적 성능을 안정적으로 식별할 수 있는가?
• RQ2 제안된 ES-WMV 접근법이 여러 DIP 변형과 잡음 유형/레벨에 대해 강건하고 효율적인가?
• RQ3 Ground-truth 데이터 없이 ES-WMV가 규제된 DIP 방법과 암시적 신경 표현의 실용적 보조자 role을 수행할 수 있는가?
• RQ4 ES-WMV가 탐지 간격과 계산 비용 측면에서 기존 ES 및 NR-IQM 기반 모니터링 방법과 어떻게 비교되는가?
• RQ5 DIP 학습에서 관측된 VAR 밸리 현상을 지지하는 이론적 통찰은 무엇인가?

주요 결과

• ES-WMV 방식은 이미지 노이즈 제거 및 블라인드 이미지 디블러링 과제에서 PSNR/SSIM 간의 차이가 작게 나타나며 거의 최적에 근접한 성능을 탐지한다.
• 매 반복의 추가 오버헤드는 DIP 업데이트 단계에 비해 작아 ES-WMV가 효율적이다.
• ES-WMV는 DIP-TV, GP-DIP, SIREN을 포함한 여러 DIP 변형과 다양한 잡음 유형/레벨에서도 효과적이다.
• NR-IQM 기준선은 종종 더 큰 탐지 간격을 만들어 내는 반면, ES-WMV는 Ground-truth 없이도 최적 근처의 성능에 더 근접하게 제공한다.
• ES-WMV를 규제 DIP 모델(예: DIP-TV, GP-DIP) 보조 도구로 활용하면 성능이 향상되며 SIREN과 같은 암시적 신경 표현에도 도움이 된다.
• 윈도우 크기와 인내심 하이퍼파라미터에 대해 강건하며, 최소한의 튜닝으로 작업에 적용할 수 있다.