[논문 리뷰] DIVA: Deep Unfolded Network from Quantum Interactive Patches for Image Restoration

Sayantan Dutta, Adrian Basarab외 2명|arXiv (Cornell University)|2022. 12. 31.

Image and Signal Denoising Methods참고 문헌 70인용 수 4

한 줄 요약

이 논문은 양자 다체 물리학을 활용하여 영상 복원 성능을 향상시키는 딥 컨volution 신경망인 DIVA를 제안한다. 영상 패치 간의 관계를 모델링하기 위해 하미르토니안 기반 상호작용 메커니즘을 사용하며, De-QuIP 알고리즘을 펼쳐서 백프로파게이션을 통한 패치 단위 하이퍼파rameter 학습을 가능하게 함으로써, 아키텍처의 복잡도를 최소화하면서도 노이즈 제거, 블러 복원, 초해상도, 메시징 등 다양한 작업에서 최신 기술 대비 뛰어난 시각적 품질과 경쟁 가능한 PSNR/SSIM 점수를 달성한다.

ABSTRACT

This paper presents a deep neural network called DIVA unfolding a baseline adaptive denoising algorithm (De-QuIP), relying on the theory of quantum many-body physics. Furthermore, it is shown that with very slight modifications, this network can be enhanced to solve more challenging image restoration tasks such as image deblurring, super-resolution and inpainting. Despite a compact and interpretable (from a physical perspective) architecture, the proposed deep learning network outperforms several recent algorithms from the literature, designed specifically for each task. The key ingredients of the proposed method are on one hand, its ability to handle non-local image structures through the patch-interaction term and the quantum-based Hamiltonian operator, and, on the other hand, its flexibility to adapt the hyperparameters patch-wisely, due to the training process.

연구 동기 및 목표

• 양자 다체 이론의 원리를 활용하여 여러 영상 복원 작업을 위한 통합적인 딥 러닝 프레임워크를 개발한다.
• 양자역학의 물리 원리를 아키텍처에 통합하여 딥 네트워크의 해석 가능성과 적응 가능성 향상.
• 다양한 오염 모델에 걸쳐 성능 향상을 위해 엔드 투 엔드 학습이 가능한 패치 단위 하이퍼파ram터 튜닝을 가능하게 한다.
• 단일 목적의 노이즈 제거 알고리즘(De-QuIP)을 블러 복원, 초해상도, 메시징 등에 적용 가능한 다용도 복원 프레임워크로 확장한다.
• 작업별 특화된 아키텍처 재설계 없이도 양자 영감을 받은 상호작용을 통해 학습 비용을 절감하고 일반화 성능을 향상시킨다.

제안 방법

• 양자 다체 물리학 기반 노이즈 제거 기법인 De-QuIP 알고리즘을 딥 컨volution 신경망 아키텍처로 펼친다.
• 영상 패치 간의 비국소적 상호작용을 모델링하기 위해 양자 영감을 받은 하미르토니안 연산자를 도입한다.
• 백프로파게이션을 통해 비례 상수 및 임계 에너지 등 매개변수를 동적으로 조정하는 패치 단위 상호작용 레이어를 활용한다.
• 클린-오염 영상 쌍을 사용하여 엔드 투 엔드로 학습함으로써, 각 패치별 물리적 하이퍼파ram터의 적응적 튜닝을 가능하게 한다.
• 슈뢰딩거 방정식의 수학적 구조를 학습 가능한 손실 함수에 통합하여 양자 역학적 동역학과 영상 복원을 연결한다.
• 모델은 다양한 작업(노이즈 제거, 블러 복원, 초해상도, 메시징)에 대해 최소한의 아키텍처 수정으로도 적용 가능하며 유연하다.

실험 결과

연구 질문

• RQ1 양자 다체 물리학 기반 알고리즘이 영상 복원을 위한 딥 러닝 프레임워크로 효과적으로 펼쳐질 수 있는가?
• RQ2 물리적 매개변수의 패치 단위 적응적 학습이 다양한 영상 복원 작업에서 성능 향상에 어떻게 기여하는가?
• RQ3 기존의 CNN과 비교해 볼 때, 양자 상호작용 메커니즘이 비국소적 구조 복원에 얼마나 기여하는가?
• RQ4 작업별 특화 설계 없이도 통합 네트워크 아키텍처가 여러 영상 복원 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 어려운 오염 조건에서 제안된 방법이 최신 기술 대비 정량적 및 정성적 측면에서 어떻게 비교되는가?

주요 결과

• DIVA는 특히 텍스처 및 구조 보존 측면에서 최신 기술 대비 뛰어난 시각적 품질을 달성하며, 일부 최신 모델보다 정량 지표가 약간 낮을지라도 성능이 뛰어나다.
• 50%의 영역이 손실된 메시징 작업에서 Set5 데이터셋 기준 DIVA는 36.08 dB PSNR와 97.84% SSIM을 기록하여 IRCNN(35.57 dB/95.87% SSIM)을 능가한다.
• Set12 데이터셋에서 80%의 영역이 손실된 경우 DIVA는 27.73 dB PSNR와 91.92% SSIM을 기록하며, IRCNN(26.75 dB/84.53% SSIM)을 크게 앞서간다.
• 초해상도 및 블러 복원 작업에서 DIVA는 경쟁 가능한 PSNR 및 SSIM 점수를 기록하며, 벤치마크 대비 뛰어난 시각적 정밀도와 세부 정보 보존 능력을 보였다.
• 특히 복잡한 오염 패tern을 처리할 때 강력한 내구성을 보이며, 양자 영감을 받은 상호작용 메커니즘 덕분에 텍스처 및 패턴 보존에 뛰어난 성능을 발휘한다.
• 가우시안 다운샘플링 작업에서는 DRLN이나 RDN과 비교해 정량 지표가 다소 낮지만, 시각적 품질은 높게 유지되어 지표 점수와 인지적 성능 사이의 상충 관계가 있음을 시사한다.