[논문 리뷰] Reconstruction of Nonnegative Sparse Signals Using Accelerated Proximal-Gradient Algorithms

Renliang Gu, A. Dogandzic|arXiv (Cornell University)|2015. 02. 09.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 3

한 줄 요약

이 논문은 Nesterov의 방법을 사용한 함수 재시작과 ADMM 기반의 프록시맵핑을 통합한 가속화된 프록시멀-그라디언트 알고리즘을 제안하여 과소결정된 측정치로부터 비음수 희소 신호를 복원한다. 웨이브렛 도메인에서 l1-노름과 지표 함수를 통해 신호의 비음수성과 희소성을 동시에 강제함으로써, 포isson 및 가우시안 노이즈 모델을 가진 압축 감지와 단층촬영에서 기존 방법들보다 뛰어난 복원 성능을 달성한다.

ABSTRACT

We develop an accelerated proximal-gradient scheme for reconstructing nonnegative signals that are sparse in a transform domain from underdetermined measurements. This signal model is motivated by tomographic applications where the signal of interest is known to be nonnegative because it represents a tissue or material density. It is also applicable to optical and hyperspectral imaging, where energy within certain spectral band is nonnegative. We adopt the unconstrained regularization framework where the objective function to be minimized is a sum of a convex data fidelity (negative log-likelihood (NLL)) term and a convex regularization term that imposes signal nonnegativity and sparsity by using indicator-function and l1-norm constraints on the signal and its transform coefficients, respectively. We apply the Nesterov's proximal-gradient (NPG) method with function restart to minimize this objective function and the alternating direction method of multipliers (ADMM) to compute the proximal mapping. To accelerate convergence of the NPG iteration, we apply a step-size selection scheme that accounts for varying local Lipschitz constant of the NLL. We also apply adaptive continuation, which provides numerical stability and can accelerate the convergence of the NPG iteration. We construct compressed-sensing and tomographic reconstruction experiments with Gaussian linear and Poisson generalized linear measurement models, where we compare the proposed reconstruction approach with existing signal reconstruction methods. By exploiting both the nonnegativity of the underlying signal and sparsity of its wavelet coefficients, we can achieve significantly better reconstruction performance than the existing methods.

연구 동기 및 목표

• 단층촬영 및 영상 응용 분야에서 과소결정된 선형 측정치로부터 비음수 희소 신호를 복원하는 문제에 대응하기 위해.
• 변환 도메인에서 신호의 비음수성과 희소성을 동시에 활용하여 복원 정확도를 향상시키기 위해.
• 비음수 희소 신호 복원에 특화된 빠르고 안정적이며 수렴 보장되는 최적화 프레임워크를 개발하기 위해.
• 포isson 및 가우시안 측정 모델 하에서 기존 방법들보다 우수한 성능을 내기 위해.

제안 방법

• 비음수성과 희소성을 강제하는 정규화 항을 포함한 비제약 최적화 프레임워크를 사용하며, 이는 볼록 데이터 적합성 항(음의 로그우도)과 정규화 항을 조합한 것이다.
• 수렴 속도를 향상시키기 위해 함수 재시작을 적용한 Nesterov의 프록시멀-그라디언트(NPG) 방법을 적용한다.
• 보조 문제 해결을 위한 효율적이고 안정적인 해법을 위해 분할 상환 다중승수 방법(ADMM)을 사용하여 프록시맵핑을 계산한다.
• 음의 로그우도 함수의 국소 리프시츠 상수 변화를 고려한 스텝 사이즈 선택 기법을 도입하여 수렴 성능을 향상시킨다.
• 수치적 안정성 향상과 수렴 속도 향상을 위해 적응형 계속 기법을 적용한다.
• 압축 감지 및 단층촬영 복원 과제에서 일반선형 측정 모델(가우시안 선형 및 포isson 일반선형)을 대상으로 본 방법을 평가한다.

실험 결과

연구 질문

• RQ1 함수 재시작과 적응형 계속 기법을 통합한 가속화된 프록시멀-그라디언트 방법이 비음수 희소 신호의 수렴성과 복원 품질을 향상시킬 수 있는가?
• RQ2 웨이브렛 도메인에서 비음수성과 희소성을 동시에 강제할 경우, 과소결정 시스템에서 복원 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 포isson 및 가우시안 노이즈 하에서 기존 최첨단 알고리즘보다 우수한 성능을 보일 수 있는가?
• RQ4 음의 로그우도 함수의 국소 리프시츠 상수를 고려한 스텝 사이즈 선택 기법이 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ5 ADMM는 NPG 프레임워크 내에서 효율적이고 안정적인 프록시멀 맵핑을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 웨이브렛 도메인에서 신호의 비음수성과 희소성을 동시에 활용함으로써, 기존 방법들보다 뚜렷이 뛰어난 복원 성능을 달성한다.
• 함수 재시작과 적응형 계속 기법이 NPG 반복의 수치적 안정성 향상과 수렴 속도 향상에 기여한다.
• 음의 로그우도 함수의 국소 리프시츠 상수를 고려한 스텝 사이즈 선택 기법이 수렴 효율성을 향상시킨다.
• ADMM 기반의 프록시멀 맵핑은 프록시멀 단계의 정확하고 안정적인 계산을 가능하게 하여 전체 알고리즘 성능에 핵심적인 영향을 미친다.
• 포isson 및 가우시안 측정 모델 하에서 압축 감지 및 단층촬영 복원 과제에서 본 방법은 뛰어난 복원 정확도를 보여준다.
• 비음수 제약 조건과 변환 계수에 대한 l1-노름 정규화의 조합이 특히 저신호 영역에서 신호 복원 성능 향상에 기여한다.