[논문 리뷰] Proximal Gradient Algorithms: Applications in Signal Processing

Niccolò Antonello, Lorenzo Stella외 2명|arXiv (Cornell University)|2018. 03. 05.

Sparse and Compressive Sensing Techniques참고 문헌 67인용 수 18

한 줄 요약

이 논문은 대규모, 비연속, 비볼록 신호 처리 문제에서 수렴 속도를 향상시키기 위해 준-뉴턴 방법과 전방-수반 오라클을 결합한 향상된 프락시멀 그래디언트(PG) 알고리즘을 제안한다. 이 프레임워크는 행렬을 사용하지 않는 최적화를 가능하게 하여 고정밀도 해를 효율적으로 도출하며, 고수준의 모델링 언어와 오디오, 이미지, 통신 처리 분야의 실시간 응용 사례를 통해 검증된다.

ABSTRACT

Advances in numerical optimization have supported breakthroughs in several areas of signal processing. This paper focuses on the recent enhanced variants of the proximal gradient numerical optimization algorithm, which combine quasi-Newton methods with forward-adjoint oracles to tackle large-scale problems and reduce the computational burden of many applications. These proximal gradient algorithms are here described in an easy-to-understand way, illustrating how they are able to address a wide variety of problems arising in signal processing. A new high-level modeling language is presented which is used to demonstrate the versatility of the presented algorithms in a series of signal processing application examples such as sparse deconvolution, total variation denoising, audio de-clipping and others.

연구 동기 및 목표

• 기존 최적화 방법이 대규모, 비연속, 비볼록 신호 처리 문제를 해결하는 데 가지는 한계를 해결한다.
• 행렬 분해에 의존하지 않고도 프락시멀 그래디언트 알고리즘의 수렴 속도를 향상시켜 실시간 및 임베디드 환경 구현을 가능하게 한다.
• 신호 처리 응용 분야에서의 구현을 간소화하고 재현 가능성을 증진하기 위해 고수준의 모델링 언어를 개발한다.
• 기존 방법이 확장성 문제로 실패하는 문제에서, 행렬을 사용하지 않는 전방-수반 오라클 기반 최적화의 효과를 입증한다.
• 프락시멀 그래디언트 방법의 적용 범위를 비볼록 문제로 확장하여 고성능 신호 복원 잠재력을 보여준다.

제안 방법

• 표준 1차 방법을 초월해 수렴 속도를 향상시키기 위해 준-뉴턴 헤시안 근사값을 프락시멀 그래디언트 알고리즘에 통합한다.
• 큰 행렬을 저장하지 않고도 행렬-벡터 곱을 계산하기 위해 전방-수반 오라클을 활용하여 행렬을 사용하지 않는 최적화를 실현한다.
• 사용자가 `x = Variable(n)` 및 `@minimize f st cstr`와 같은 직관적인 문법을 사용해 최적화 문제를 정의할 수 있는 고수준의 모델링 언어를 구현한다.
• 비중첩 변수 조각에 걸쳐 분리 가능한 프락시멀 매핑을 활용하여 다중 제약 조건이 존재할 경우에도 계산 효율성을 유지한다.
• 이전 해를 재사용함으로써 반복적 문제 간의 웜스타트를 지원하여 순차적 최적화 작업의 효율성을 향상시킨다.
• PANOC 알고리즘과 FPG와 같은 특수화된 솔버를 조합하여 맞춤형 성능을 달성하고, `with FPG()`와 같은 문법을 통해 알고리즘 선택 기능을 노출한다.

실험 결과

연구 질문

• RQ1 준-뉴턴 가속화가 대규모 신호 처리 문제에서 프락시멀 그래디언트 방법의 수렴 속도를 상당히 향상시킬 수 있는가?
• RQ2 전방-수반 오라클을 통한 행렬을 사용하지 않는 계산 방식이 대규모 최적화에서 메모리 및 계산 오버헤드를 얼마나 줄일 수 있는가?
• RQ3 비볼록 공식화를 사용한 프락시멀 그래디언트 알고리즘이 볼록 근사화 대비 뛰어난 성능을 달성하는 데 얼마나 효과적인가?
• RQ4 고수준의 모델링 언어가 복잡한 신호 처리 최적화 문제의 구현을 단순화하면서도 효율성을 유지할 수 있는가?
• RQ5 반복적 신호 처리 작업에서 웜스타트와 행렬을 사용하지 않는 연산을 조합했을 때 실질적인 영향은 무엇인가?

주요 결과

• 제안된 준-뉴턴 기반 프락시멀 그래디언트 알고리즘은 기존 1차 방법보다 더 빠른 수렴 속도를 보이며, 이전에는 해결이 어려웠던 문제에 대해서도 고정밀도 해를 도출할 수 있다.
• 전방-수반 오라클을 통한 행렬을 사용하지 않는 계산은 큰 행렬을 저장하거나 분해하지 않아도 대규모 문제를 효율적으로 처리할 수 있도록 한다.
• 고수준의 모델링 언어를 통해 희소 복소화 및 총 변동성 노이즈 제거와 같은 복잡한 신호 처리 최적화 작업에 대해 간결하고 가독성 있으며 재현 가능한 코드를 작성할 수 있다.
• 프락시멀 그래디언트 방법을 사용한 비볼록 공식화는 가짜 국소 최솟값이 존재하지 않을 경우 더 나은 응용 분야 성능을 달성할 수 있으며, 계산적으로 실현 가능하다.
• 프락시멀 매핑과 오라클 계산의 내재적 병렬성 덕분에 낮은 메모리 사용량으로 인해 실시간 및 임베디드 환경에의 구현이 가능하다.
• 공개된 소스 코드 및 소프트웨어 도구(예: ProxImaL, ODL, ForBES)는 제안된 접근 방식이 다양한 신호 처리 분야에서 실용적이고 재사용 가능하다는 것을 입증한다.