[논문 리뷰] Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors

Yu Sun, Jiaming Liu외 3명|arXiv (Cornell University)|2021. 05. 03.

Sparse and Compressive Sensing Techniques참고 문헌 65인용 수 5

한 줄 요약

이 논문은 대규모 역문제를 해결하기 위해 사전 훈련된 딥 노이즈리서를 이미지 사전으로 통합하는 증명 가능하게 수렴하는 비동기 블록-병렬 확률적 최적화 방법인 Async-RED를 제안한다. 무작위 부분 집합 샘플링과 이론적 수렴 보장 기능을 통해 병렬 처리를 가능하게 함으로써, 순차적 RED 방법에 비해 훨씬 빠른 수렴 속도를 달성하면서도 최신 기술 수준의 이미지 복원 성능을 유지한다.

ABSTRACT

Regularization by denoising (RED) is a recently developed framework for solving inverse problems by integrating advanced denoisers as image priors. Recent work has shown its state-of-the-art performance when combined with pre-trained deep denoisers. However, current RED algorithms are inadequate for parallel processing on multicore systems. We address this issue by proposing a new{asynchronous RED (Async-RED) algorithm that enables asynchronous parallel processing of data, making it significantly faster than its serial counterparts for large-scale inverse problems. The computational complexity of Async-RED is further reduced by using a random subset of measurements at every iteration. We present a complete theoretical analysis of the algorithm by establishing its convergence under explicit assumptions on the data-fidelity and the denoiser. We validate Async-RED on image recovery using pre-trained deep denoisers as priors.

연구 동기 및 목표

• 기존 Regularization by Denoising (RED) 알고리즘에서 대규모 역문제에 대한 효율적인 병렬 처리 부족 문제를 해결하기 위해.
• 다중코어 시스템에서 데이터의 비동기 블록-병렬 처리를 가능하게 하여 계산 속도를 향상시키기 위해.
• 각 반복에서 측정값의 무작위 부분 집합을 샘플링하여 계산 복잡도를 감소시키기 위해.
• 데이터 일치성과 노이즈리서 행동에 대한 명시적 가정 하에 제안된 방법의 이론적 수렴성을 확립하기 위해.
• 사전 훈련된 딥 노이즈리서를 사전으로 사용하여 이미지 복원 작업에서의 성능을 검증하기 위해.

제안 방법

• 다양한 블록의 데이터를 독립적으로 처리하고 동기화 없이 업데이트하는 비동기 블록-병렬 최적화 프레임워크를 제안한다.
• 각 반복에서 측정값의 무작위 부분 집합을 사용한 확률적 업데이트를 도입하여 계산 부담을 감소시킨다.
• 딥 노이즈리서를 RED 프레임워크 내에서 이미지 사전으로 활용하여 고품질 정규화를 위한 사전 훈련된 모델을 활용한다.
• 데이터 일치성 항목과 노이즈리서 행동에 대한 명시적 가정 하에 수렴 보장을 도출하며, 이는 유계성과 연속성 포함.
• 각 프로세서가 변수의 부분 집합을 처리하고 비동기적으로 업데이트를 통신하는 블록별 업데이트 전략을 적용한다.
• 리아푸노프 함수 기반 분석을 사용하여 온건한 가정 하에 정류점으로의 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 비동기 병렬 처리가 대규모 역문제 해결을 가속화하기 위해 RED 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 각 반복에서 측정값의 무작위 부분 집합을 사용할 경우, 계산 비용을 감소시키면서도 수렴성을 유지할 수 있는가?
• RQ3 제안된 Async-RED 알고리즘이 어떤 가정 하에 정류점 해로 수렴하는가?
• RQ4 속도와 복원 품질 측면에서 Async-RED는 순차적 RED에 비해 어떻게 성능을 냈는가?
• RQ5 사전 훈련된 딥 노이즈리서는 이미지 복원을 위한 비동기 및 확률적 최적화 설정에서 효과적으로 활용될 수 있는가?

주요 결과

• Async-RED는 데이터 일치성과 노이즈리서에 대한 명시적 가정 하에 증명 가능하게 수렴하며, 이론적 보장을 비동기 설정으로 확장한다.
• 다중코어 아키텍처에서 비동기 병렬 처리를 활용함으로써 순차적 RED에 비해 상당한 속도 향상을 달성한다.
• 측정값의 무작위 부분 집합을 사용함으로써 반복당 계산 복잡도를 감소시키지만, 수렴성이나 복원 품질에 영향을 주지 않는다.
• 실험 결과는 사전 훈련된 딥 노이즈리서와 결합한 Async-RED가 최신 기술 수준의 이미지 복원 성능을 보임을 입증한다.
• 반복당 계산을 줄여도 높은 복원 정밀도를 유지하므로, 이는 대규모 문제에 적합하다.