[논문 리뷰] Self-Validation: Early Stopping for Single-Instance Deep Generative Priors

Taihui Li, Zhong Zhuang외 4명|arXiv (Cornell University)|2021. 10. 23.

Advanced Image Processing Techniques참고 문헌 42인용 수 10

한 줄 요약

이 논문은 이미지 복원 작업에서 단일 인스턴스 딥 생성 사전(SIDGP)을 위한 원칙적인 조기 정지(ES) 방법인 Self-Validation을 제안한다. 재구성된 이미지에 대해 온라인으로 딥 오토에인코더를 훈련시켜 재구성 품질을 모니터링하고, 종형 곡선 추세를 통해 최적 성능에 가까운 지점을 탐지함으로써, 다양한 SIDGP 모델과 역문제에 대해 기계적인 조기 정지 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Recent works have shown the surprising effectiveness of deep generative models in solving numerous image reconstruction (IR) tasks, even without training data. We call these models, such as deep image prior and deep decoder, collectively as single-instance deep generative priors (SIDGPs). The successes, however, often hinge on appropriate early stopping (ES), which by far has largely been handled in an ad-hoc manner. In this paper, we propose the first principled method for ES when applying SIDGPs to IR, taking advantage of the typical bell trend of the reconstruction quality. In particular, our method is based on collaborative training and self-validation: the primal reconstruction process is monitored by a deep autoencoder, which is trained online with the historic reconstructed images and used to validate the reconstruction quality constantly. Experimentally, on several IR problems and different SIDGPs, our self-validation method is able to reliably detect near-peak performance and signal good ES points. Our code is available at https://sun-umn.github.io/Self-Validation/.

연구 동기 및 목표

• 단일 인스턴스 딥 생성 사전(SIDGP)을 위한 원칙적인 조기 정지(ES) 전략의 부족을 해결한다. 이미지 복원(IR) 작업에서 ES는 필수적이지만 현재는 기계적인 방식이다.
• SIDGP에서 최적화 단계에 따라 재구성 품질이 종형 곡선을 보이는 특성적인 과적합 문제를 해결한다.
• 지속적인 검증 신호를 생성하는 자기지도형, 온라인 검증 메커니즘을 개발하여, 참값 이미지나 외부 데이터 없이도 근사 최고 성능 지점을 신뢰성 있게 탐지할 수 있도록 한다.
• 다양한 IR 작업(노이즈 제거, 초해상도 복원, MRI 복원)과 다양한 SIDGP 아키텍처(DIP, DD, SIREN)에 걸쳐 강건성을 확보한다.

제안 방법

• SIDGP 최적화 과정에서 생성된 재구성된 이미지의 시퀀스를 사용해 오토에인코더를 온라인 방식으로 훈련시킨다.
• AE를 사용해 재구성 손실을 계산하여 이미지 품질의 대체 지표로 삼고, 자기검증 신호를 형성한다.
• 최적화 단계에 따라 AE의 재구성 손실을 모니터링하여 과적합의 시작 시점을 탐지한다. 이는 재구성 품질 곡선의 정점에 해당한다.
• AE 손실이 증가하기 시작할 때 조기 정지를 적용하여, 모델이 노이즈나 아티팩트를 학습하기 시작했음을 알린다.
• AE 훈련을 주요 SIDGP 최적화 루프와 통합하여 검증 신호가 실시간으로 업데이트되도록 보장한다.
• 환영 수용성 분석에서 최소한의 민감도를 보인 두 가지 핵심 하이퍼파라미터인 내성(p)과 윈도우 크기(n)를 조정한다.

실험 결과

연구 질문

• RQ1 참값이 없이도 자기지도형, 온라인 검증 메커니즘이 SIDGP 기반 이미지 복원에서 최적의 정지 지점을 신뢰성 있게 탐지할 수 있는가?
• RQ2 제안된 Self-Validation 방법은 다양한 이미지 복원 작업과 SIDGP 아키텍처에서 기계적인 조기 정지 방법과 비교해 성능이 어떻게 다른가?
• RQ3 다양한 복원 설정에서 내성(p)과 윈도우 크기(n)와 같은 하이퍼파라미터에 대한 민감도는 어떠한가?
• RQ4 비선형 및 선형 측정 모델(예: MRI 복원)을 포함한 다양한 유형의 역문제에 대해 이 방법이 일반화되는가?
• RQ5 SIDGP와 검증 오토에인코더의 학습률 변화에 대해 이 방법은 얼마나 강건한가?

주요 결과

• Self-Validation은 노이즈 제거, 초해상도 복원, MRI 복원을 포함한 여러 IR 작업에서 근사 최고 성능을 안정적으로 탐지한다. PSNR 갭(ES-PG)은 항상 1.0 이하이며, SSIM 갭(ES-SG)은 0.1 이하이다.
• 9장의 이미지 노이즈 제거 벤치마크에서, DIP 학습률 0.001과 AE 학습률 0.001을 사용했을 때 평균 ES-PG는 0.593, ES-SG는 0.043를 기록했다.
• 이 방법은 하이퍼파라미터에 대해 매우 낮은 민감도를 보였으며, 내성(p)과 윈도우 크기(n)에 대해 성능이 테스트된 범위(p ∈ {100, 300, 500, 700, 900}, n ∈ {32, 64, 128, 256, 512}) 내에서 안정적으로 유지되었다.
• DIP와 AE의 학습률을 다양하게 설정해도 성능 변동은 미미했으며, 모든 설정에서 ES-PG와 ES-SG가 좁은 범위 내에 유지되었다(예: 모든 설정에서 ES-PG < 1.3).
• 8배 과도 샘플링을 적용한 MRI 복원에서, 이 방법은 진정한 정점에 가까운 정지 지점을 성공적으로 탐지하여 고해상도 재구성을 이끌어냈다.
• 아블레이션 연구에서, p와 n의 값이 클수록 일반적으로 탐지 성능이 향상되지만, 중간 설정에서도 여전히 강건함을 확인했다.