[논문 리뷰] A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems

Junqi Tang, Mike E. Davies|arXiv (Cornell University)|2020. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 영상 역문제에서 비용이 많이 드는 디노이저 호출을 줄이기 위해 비정확한 ADMM 프레임워크 내부에 확률적 경사하강법을 통합함으로써 빠른 확률적 플러그 앤 플레이 ADMM 알고리즘을 제안한다. 기존의 확률적 PnP 접근법보다 더 빠른 수렴 속도와 낮은 런타임을 달성하며, 이론적으로 고정점 수렴 보장을 갖추고 있으며, 저선량 및 희박한 시야 CT 재구성에서 뛰어난 성능을 보인다.

ABSTRACT

In this work we propose an efficient stochastic plug-and-play (PnP) algorithm for imaging inverse problems. The PnP stochastic gradient descent methods have been recently proposed and shown improved performance in some imaging applications over standard deterministic PnP methods. However, current stochastic PnP methods need to frequently compute the image denoisers which can be computationally expensive. To overcome this limitation, we propose a new stochastic PnP-ADMM method which is based on introducing stochastic gradient descent inner-loops within an inexact ADMM framework. We provide the theoretical guarantee on the fixed-point convergence for our algorithm under standard assumptions. Our numerical results demonstrate the effectiveness of our approach compared with state-of-the-art PnP methods.

연구 동기 및 목표

• 기존의 영상 역문제를 위한 확률적 플러그 앤 플레이(PnP) 방법에서 빈번한 디노이저 호출로 인한 높은 계산 비용을 해결한다.
• 수렴성을 훼손하지 않으면서 디노이저 평가 횟수를 줄임으로써 확률적 PnP 알고리즘의 실용성을 향상시킨다.
• 비정확한 ADMM와 내부 루프에서의 확률적 경사하강법을 융합한 효율적인 최적화를 위한 확률적 PnP-ADMM 프레임워크를 개발한다.
• 표준 가정 하에 고정점 수렴 분석을 제공하여 알고리즘의 신뢰성을 뒷받침한다.
• 특히 저선량 및 희박한 시야 컴퓨터 톰그래피(CT)에서 실세계 영상 문제에 대한 방법의 효과성을 입증한다.

제안 방법

• 비정확한 ADMM 프레임워크의 내부 루프에 확률적 경사하강법(SGD)을 통합하여 반복적인 디노이저 호출에 대한 의존도를 낮춘다.
• 임의로 샘플링된 데이터 색인을 기반으로 미니배치 확률적 경사도를 사용하여 전체 경사도를 효율적으로 추정한다.
• FISTA에 영감을 얻어 z-변수 갱신 단계에서 동적 보정을 적용하여 수렴 속도를 가속화한다.
• 외부 ADMM 반복마다 디노이저를 한 번만 적용하여 계산 오버헤드를 크게 줄인다.
• 고정된 스텝 사이즈 전략을 사용하며, $ au = 1$ 및 $ heta_j = rac{j-1}{j+3}$를 사용하여 안정적이고 적응적인 갱신을 보장한다.
• 알고리즘을 고정점 반복으로 설정하고, 연속적인 반복 간의 오차 한계를 사용하여 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 확률적 경사 기법을 플러그 앤 플레이 프레임워크 내의 ADMM와 효과적으로 융합하여 디노이저 호출 횟수를 줄일 수 있는가?
• RQ2 제안된 확률적 PnP-ADMM는 기존의 PnP-SGD 및 PnP-FISTA 방법과 비교해 더 빠른 수렴 속도와 낮은 런타임을 달성하는가?
• RQ3 특히 비정확한 하위문제 해가 존재하는 상황에서도 표준 가정 하에 제안된 방법이 이론적으로 수렴하는가?
• RQ4 저선량 및 희박한 시야 CT 재구성과 같은 실세계 영상 작업에서 알고리즘이 어떻게 성능을 발휘하는가?
• RQ5 비용이 많이 드는 디노이저에서 비롯된 계산 비용을 크게 줄이면서도 높은 재구성 품질을 유지할 수 있는가?

주요 결과

• 제안된 확률적 PnP-ADMM는 약간 더 많은 데이터 통과 횟수를 거치더라도, 디노이저 호출 수가 적어 더 빠른 런타임을 달성한다.
• 저선량 CT 재구성에서, 이론적 수렴 수준에 도달하는 데 더 빠르며, 추정 오차 측면에서 PnP-SGD 및 PnP-FISTA를 모두 능가한다.
• 희박한 시야 CT에서, 특히 디노이저 계산이 병목 현상이 되는 경우, 재구성 품질과 속도 면에서 뛰어난 성능을 보인다.
• 이론적 분석을 통해 표준 가정 하에 고정점 수렴이 확인되었으며, 오차 항이 $k \to \infty$로 갈수록 감소함을 입증했다.
• 실험 결과, 강凸성 조건이 필요하지 않다는 것이 확인되어, 비강凸 설정에서도 뛰어난 안정성을 보임을 시사한다.
• 디노이저 스케일링 파라미터 ($\gamma$)에 대한 격자 탐색을 통해 성능 최적화가 가능했으며, 이는 프레임워크 내에서 디노이저 캘리브레이션의 중요성을 확인한다.