[논문 리뷰] Scalable Plug-and-Play ADMM with Convergence Guarantees

Yu Sun, Zihui Wu외 3명|arXiv (Cornell University)|2020. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 72인용 수 4

한 줄 요약

이 논문은 대규모 역문제를 스케일러블하고 수렴 보장이 되는 방식으로 처리할 수 있도록 작은 배치로 데이터를 처리하는 점진적 플러그 앤 플레이 ADMM (IPA) 알고리즘을 제안한다. 기존의 PnP 방법과 달리 IPA는 데이터셋 크기와 관계없이 낮은 메모리 사용량과 반복당 계산 비용을 유지하며, 미분 가능하지 않은 데이터 적합성 항을 지원하고, PnP-SGD보다 더 빠른 수렴 속도를 보이며 명시적 가정 하에 이론적 수렴을 보장한다.

ABSTRACT

Plug-and-play priors (PnP) is a broadly applicable methodology for solving inverse problems by exploiting statistical priors specified as denoisers. Recent work has reported the state-of-the-art performance of PnP algorithms using pre-trained deep neural nets as denoisers in a number of imaging applications. However, current PnP algorithms are impractical in large-scale settings due to their heavy computational and memory requirements. This work addresses this issue by proposing an incremental variant of the widely used PnP-ADMM algorithm, making it scalable to large-scale datasets. We theoretically analyze the convergence of the algorithm under a set of explicit assumptions, extending recent theoretical results in the area. Additionally, we show the effectiveness of our algorithm with nonsmooth data-fidelity terms and deep neural net priors, its fast convergence compared to existing PnP algorithms, and its scalability in terms of speed and memory.

연구 동기 및 목표

• 기존의 플러그 앤 플레이 PnP 알고리즘이 대규모 환경에서 실용적이지 않은 계산 및 메모리 요구를 해결하기 위해.
• 전체 데이터셋을 한 번에 처리하는 대신 하나 또는 소수의 데이터 요소를 단계적으로 처리함으로써 데이터셋 크기와 관계없이 메모리와 반복당 복잡도를 줄이는 확장 가능한 PnP-ADMM 변형을 개발하기 위해.
• 스무스 및 스무스하지 않은 데이터 적합성 항을 모두 포함하여 점진적 처리에 대한 이론적 수렴 보장을 확장하기 위해.
• 기존의 확률적 대안인 PnP-SGD보다 더 빠른 수렴 속도를 보장하면서도 대규모 문제에 깊이 학습된 신경망 사전 정보를 활용할 수 있도록 하기 위해.
• 대규모 이미지 복원 및 역문제에 대해 이론적으로 타당하고 유연하며 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 전체 데이터셋을 한 번에 처리하는 대신 하나 또는 소수의 데이터 요소를 한 번에 처리하는 점진적 PnP-ADMM (IPA) 알고리즘을 제안한다.
• 데이터 적합성 항을 데이터 부분집합에 대해 순환적 또는 확률적으로 처리하는 랜덤화된 점진적 업데이트 방식을 사용한다.
• 원래의 ADMM 구조를 유지하며, 원소 변수와 이중 변수에 대해 번갈아 최소화를 수행하지만, 데이터 적합성 항의 프록시 오퍼레이터는 각 단계에서 전체 측정값 중 일부에만 적용한다.
• 예를 들어 사전 학습된 딥 네ural 네트워크를 사용하는 노이즈리거를 사전 정보로 사용하며, 표준 PnP-ADMM와 동일한 방식으로 적용하지만 점진적 업데이트에 적합하게 조정한다.
• 이론적 분석은 기존의 배치 처리에서 점진적 처리로 확장된 엄밀한 비확장성과 고정점 수렴을 기반으로 한다.
• 명시적 가정 하에 수렴을 확립한다: 데이터 적합성 기울기의 리프시츠 연속성, 반복값의 유계성, 노이즈리거 및 프록시 오퍼레이터의 엄밀한 비확장성.

실험 결과

연구 질문

• RQ1 PnP-ADMM는 대규모 데이터셋에 대해 수렴 보장을 유지하면서도 확장 가능한가?
• RQ2 PnP-ADMM에서 데이터를 점진적으로 처리할 때, 스무스하지 않은 데이터 적합성 항과 학습된 노이즈리거를 사용해도 수렴이 유지되는가?
• RQ3 점진적 PnP-ADMM의 수렴 속도와 메모리 사용량은 배치 PnP-ADMM 및 PnP-SGD와 비교해 어떻게 되는가?
• RQ4 배치 PnP-ADMM의 이론적 수렴 프레임워크는 부분적이고 랜덤화된 데이터 처리로 확장 가능한가?
• RQ5 점진적 알고리즘의 실증적 성능은 대규모 영상 문제에서 속도, 메모리 효율성, 복원 품질 측면에서 어떻게 되는가?

주요 결과

• 제안된 IPA 알고리즘은 명시적 가정 하에 고정점으로 수렴함을 입증하여, 배치 PnP-ADMM의 이론적 보장을 점진적 처리로 확장한다.
• IPA는 ℓ₁-노름과 같은 스무스하지 않은 데이터 적합성 항을 사용할 때도 수렴을 유지하며, 이는 PnP-SGD가 동일한 이론적 프레임워크에서 이를 지원하지 못하기 때문이다.
• 수치 실험 결과, IPA는 ADMM의 번갈아 최소화 구조 덕분에 초기 반복에서 PnP-SGD보다 더 빠른 수렴 속도를 보였다.
• IPA의 메모리 사용량과 반복당 계산 비용은 총 측정값 수와 무관하여 매우 큰 데이터셋에 대한 확장성이 보장된다.
• 수치적 검증을 통해 IPA는 스무스하지 않은 데이터 적합성 항과 깊이 학습된 신경망 사전 정보를 효과적으로 통합하여 대규모 이미지 복원 과제에서 최신 기술 수준의 성능을 달성함을 확인했다.
• 이론적 분석 결과, 배치 PnP-ADMM와 동일한 가정 하에 점진적 오퍼레이터도 엄밀한 비확장성을 유지하며, 이는 크라스노셀스키-만 정리에 의해 수렴을 보장한다.