[논문 리뷰] Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

Kaixuan Wei, Angelica I. Avilés-Rivero외 4명|arXiv (Cornell University)|2020. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 97인용 수 14

한 줄 요약

이 논문은 깊이 강화학습 정책을 활용하여 펜alty 파라미터, 노이즈 제거 강도, 종료 시간을 자동으로 선택하는 수동 조정이 필요 없는 플러그 앤 플레이(proximal) 알고리즘을 제안한다. 모델-프리(model-free)와 모델-기반(model-based) RL을 조합함으로써, 압축 감도 MRI 및 단서 복원과 같은 역영상 문제에서 수동 하이퍼파rameter 조정 없이도 최첨단 성능을 달성한다.

ABSTRACT

Plug-and-play (PnP) is a non-convex framework that combines ADMM or other proximal algorithms with advanced denoiser priors. Recently, PnP has achieved great empirical success, especially with the integration of deep learning-based denoisers. However, a key problem of PnP based approaches is that they require manual parameter tweaking. It is necessary to obtain high-quality results across the high discrepancy in terms of imaging conditions and varying scene content. In this work, we present a tuning-free PnP proximal algorithm, which can automatically determine the internal parameters including the penalty parameter, the denoising strength and the terminal time. A key part of our approach is to develop a policy network for automatic search of parameters, which can be effectively learned via mixed model-free and model-based deep reinforcement learning. We demonstrate, through numerical and visual experiments, that the learned policy can customize different parameters for different states, and often more efficient and effective than existing handcrafted criteria. Moreover, we discuss the practical considerations of the plugged denoisers, which together with our learned policy yield state-of-the-art results. This is prevalent on both linear and nonlinear exemplary inverse imaging problems, and in particular, we show promising results on Compressed Sensing MRI and phase retrieval.

연구 동기 및 목표

• 플러그 앤 플레이(PnP) 프락시멀 알고리즘의 수동 하이퍼파rameter 조정 문제를 해결한다.
• 수작업으로 설정한 파라미터 규칙이나 체계적 탐색의 한계를 극복하기 위해 다양한 영상 조건에서 자동으로 파라미터를 선택하는 방법을 개발한다.
• 최적화 과정 중에 펜alty 파라미터, 노이즈 제거 강도, 종료 시간을 동적으로 조정할 수 있는 통합 프레임워크를 개발한다.
• 재학습 없이도 다양한 노이즈 수준과 측정 모델 조건에서도 수동 조정 없이 고성능 영상 복원을 가능하게 한다.

제안 방법

• 강화학습(RL) 프레임워크 내에서 내부 파라미터 선택 문제를 순차적 결정 문제로 수식화한다.
• 모델-프리 DDPG와 모델-기반 RL을 조합한 하이브리드 접근 방식을 사용하여 현재 최적화 상태에서 행동(파라미터 값)으로 매핑하는 정책 네트워크를 설계한다.
• 혼합 학습 전략을 사용: 탐색을 위해 모델-프리 DDPG를, 정교화를 위해 모델-기반 정책을 활용하여 샘플 효율성과 수렴 속도를 향상시킨다.
• 학습된 정책을 PnP-ADMM에 통합하여 고정 또는 수작업으로 설정된 파라미터 스케줄을 상태에 따라 적응하는 동적 파라미터 업데이트로 대체한다.
• 프락시멀 연산자와 노이즈 제거의 수학적 등가성을 활용하여, BM3D, NLM 등 사전 제작된 노이즈 제거기들을 통합하면서도 알고리즘의 안정성을 유지한다.
• 실제 역영상 시나리오를 모의한 시뮬레이션 환경을 사용해 정책을 엔드 투 엔드로 학습하며, 노이즈 수준, 측정 비율, 영상 콘텐츠의 다양성을 반영한다.

실험 결과

연구 질문

• RQ1 강화학습 정책이 수동 조정 없이 PnP 알고리즘에서 최적의 펜alty 파라미터, 노이즈 제거 강도, 종료 시간을 자동으로 결정할 수 있는가?
• RQ2 모델-프리와 모델-기반 RL을 조합한 하이브리드 접근 방식이 순수 모델-프리 또는 수작업 파라미터 규칙보다 복원 품질과 수렴 속도 측면에서 뛰어나게 성능을 내는가?
• RQ3 학습된 정책이 선형(예: CS-MRI) 및 비선형(예: 단서 복원) 설정을 포함한 다양한 역영상 문제에 일반화 가능한가?
• RQ4 고도로 불완전한 샘플링 비율이나 낮은 신호 대 노이즈 비율 조건에서 최첨단 기법들과 비교해 본다면, 수동 조정이 필요 없는 PnP 알고리즘의 성능은 어떠한가?
• RQ5 정책이 이미지 품질을 손상시키지 않고 계산량을 줄이기 위해 조기 종료 행동을 얼마나 잘 학습하는가?

주요 결과

• 압축 감도 MRI에서 제안된 방법은 IRCNN과 BM3D-MRI를 크게 앞서며, 특히 8× 언더샘플링 조건에서 최첨단 성능을 달성한다.
• ×2 경우에서 이 방법은 단 5회 반복만으로 수렴하며, IRCNN(30회 반복)과 BM3D-MRI(70회 반복)보다 훨씬 빠르게 수렴한다.
• 단서 복원 문제에서는 모든 경쟁 PnP 및 전통적 방법(예: prDeep, DOLPHIn)보다 더 깔끔하고 선명한 복원 결과를 생성한다.
• 학습된 정책는 지식이 있는 최적 파라미터(실제 값에 접근 가능)의 성능을 종종 따라하거나 초월하며, 강력한 일반화 능력을 보여준다.
• 하이브리드 RL 정책는 고정 또는 단조 감소하는 스케줄과 달리, 반복 과정에서 파라미터를 동적으로 조정하고 효과적인 조기 종료 행동을 학습한다.
• 모델-프리 DDPG 전용 버전은 혼합 접근 방식에 비해 성능이 열 劣하며, 최적의 노이즈 제거 강도와 조기 종료 행동을 학습하지 못함을 보여주며, 모델-기반 정교화의 유용성을 입증한다.