[논문 리뷰] Solving OSCAR regularization problems by proximal splitting algorithms

Xiangrong Zeng, Mário A. T. Figueiredo|arXiv (Cornell University)|2013. 09. 24.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 6

한 줄 요약

이 논문은 그룹화된 근접 연산자(GPO)와 근사 근접 연산자(APO)를 도입하여 OSCAR 정규화 문제를 해결하기 위한 효율적인 프록시멀 스플리팅 알고리즘을 제안한다. APO는 정확도 손실을 최소화하면서도 수렴 속도를 높여, 그룹 스퍼스 신호 복원 과제에서 정확한 GPO보다 빠른 성능을 보이며, 성능은 유사하게 유지된다.

ABSTRACT

The OSCAR (octagonal selection and clustering algorithm for regression) regularizer consists of a L_1 norm plus a pair-wise L_inf norm (responsible for its grouping behavior) and was proposed to encourage group sparsity in scenarios where the groups are a priori unknown. The OSCAR regularizer has a non-trivial proximity operator, which limits its applicability. We reformulate this regularizer as a weighted sorted L_1 norm, and propose its grouping proximity operator (GPO) and approximate proximity operator (APO), thus making state-of-the-art proximal splitting algorithms (PSAs) available to solve inverse problems with OSCAR regularization. The GPO is in fact the APO followed by additional grouping and averaging operations, which are costly in time and storage, explaining the reason why algorithms with APO are much faster than that with GPO. The convergences of PSAs with GPO are guaranteed since GPO is an exact proximity operator. Although convergence of PSAs with APO is may not be guaranteed, we have experimentally found that APO behaves similarly to GPO when the regularization parameter of the pair-wise L_inf norm is set to an appropriately small value. Experiments on recovery of group-sparse signals (with unknown groups) show that PSAs with APO are very fast and accurate.

연구 동기 및 목표

• 비틀림 없는 근접 연산자가 포함된 OSCAR 정규화를 적용할 때 발생하는 계산적 과제를 해결하기 위해, 알고리즘 적용 범위를 제한하는 비틀림 없는 근접 연산자의 계산 과제를 해결한다.
• 근접 연산자의 효율적 계산을 가능하게 하기 위해 OSCAR 정규화자를 가중치가 부여된 정렬된 ℓ₁ 노름으로 재구성한다.
• 최신 프록시멀 스플리팅 알고리즘(PSAs)이 OSCAR 정규화된 역문제에 적용될 수 있도록 정확한 GPO와 근사적 APO 두 가지 근접 연산자를 개발한다.
• 그룹 스퍼스 신호 복원의 맥락에서 GPO와 APO 간의 정확도와 계산 효율성 간의 트레이드오프를 평가한다.
• APO 기반 PSAs가 대규모 문제에서 높은 정확도를 유지하면서도 뚜렷한 런타임 단축을 이룰 수 있음을 입증한다.

제안 방법

• 근접 연산자의 계산을 단순화하기 위해 OSCAR 정규화자를 가중치가 부여된 정렬된 ℓ₁ 노름으로 재구성한다.
• 그룹화된 근접 연산자(GPO)를 제안하여 정확한 임계값 처리 후 동일한 값의 성분을 그룹화하고 평균화한다.
• 비용이 많이 들는 그룹화 및 평균화 단계를 생략함으로써 계산 오버헤드를 줄이는 근사 근접 연산자(APO)를 도입한다.
• APO와 GPO를 FISTA, TwIST, SpaRSA, SBM, ADMM, PADMM의 여섯 가지 최신 프록시멀 스플리팅 알고리즘에 통합한다.
• ADMM 프레임워크를 사용하여 APO 및 GPO를 활용한 OSCAR 정규화 최적화 문제를 해결한다.
• 성능 평가를 위해 알려진 노이즈와 측정 행렬 설정을 가진 합성 그룹 스퍼스 신호 복원에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 OSCAR 정규화자는 근접 연산자의 효율적 계산을 가능하게 하기 위해 재구성될 수 있는가?
• RQ2 정확한 그룹화 근접 연산자(GPO)와 비교할 때 근사 근접 연산자(APO)의 정확도와 속도는 어떻게 다른가?
• RQ3 정규화 파라미터가 APO 및 GPO를 사용하는 PSAs의 행동과 수렴 특성에 미치는 영향은 무엇인가?
• RQ4 FISTA, TwIST, SpaRSA 등 다양한 프록시멀 스플리팅 알고리즘이 APO 또는 GPO와 결합되었을 때 OSCAR 정규화 문제에서 어떻게 성능을 내는가?
• RQ5 대규모 그룹 스퍼스 신호 복원에서 APO 기반 접근법은 계산 비용을 크게 줄이면서도 충분한 정확도를 유지하는가?

주요 결과

• APO 기반 PSAs는 GPO 기반 알고리즘보다 뚜렷한 속도 우위를 보이며, FISTA-APO는 0.562초, ADMM-APO는 2.23초에 완료되었고, GPO 기반 대응 제품은 각각 1.92초와 16.2초였다.
• APO는 GPO와 거의 동일한 정확도를 달성한다: FISTA-APO와 FISTA-GPO 모두 1000차원 테스트 신호에서 평균 절대 오차(MAE) 0.337과 평균 제곱 오차(MSE) 0.423을 기록했다.
• 모든 알고리즘 중 PADMM-APO가 가장 낮은 MAE(0.313)와 MSE(0.411)를 기록하여, 빠른 런타임 0.352초에도 불구하고 뛰어난 정확도를 보였다.
• 신호 크기가 증가함에 따라 APO 기반 알고리즘이 GPO 기반 알고리즘보다 더 우수한 스케일링 성능을 보이며 뚜렷한 속도 우위를 확보했다.
• 공식적인 수렴 증명이 없음에도 불구하고, APO 기반 PSAs는 안정적으로 수렴하며, 쌍별 ℓ∞ 노름 파라미터를 작은 값으로 설정할 경우 GPO와 거의 구분되지 않는 결과를 생성했다.
• 실험 결과 APO는 GPO에 대한 실용적이고 효과적인 대안임을 확인하였으며, 알려지지 않은 그룹 구조를 가진 그룹 스퍼스 신호의 신속하고 정확한 복원을 가능하게 했다.