[논문 리뷰] Fast Learning with Nonconvex L1-2 Regularization

Quanming Yao, James T. Kwok외 1명|arXiv (Cornell University)|2016. 10. 29.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 3

한 줄 요약

이 논문은 비볼록 ℓ₁₋₂ 정규화자에 대한 폐쇄형 프록시멀 기울기 해법을 제안하여 희박성과 낮은 질서 학습에서 빠르고 효율적인 최적화를 가능하게 한다. 분석적 프록시멀 단계를 유도함으로써, 압축 감지, 행렬 완성, 이미지 노이즈 제거에서 최신 기술 대비 뛰어난 수렴 속도와 복원 성능을 달성한다.

ABSTRACT

Convex regularizers are often used for sparse learning. They are easy to optimize, but can lead to inferior prediction performance. The difference of $\ell_1$ and $\ell_2$ ($\ell_{1-2}$) regularizer has been recently proposed as a nonconvex regularizer. It yields better recovery than both $\ell_0$ and $\ell_1$ regularizers on compressed sensing. However, how to efficiently optimize its learning problem is still challenging. The main difficulty is that both the $\ell_1$ and $\ell_2$ norms in $\ell_{1-2}$ are not differentiable, and existing optimization algorithms cannot be applied. In this paper, we show that a closed-form solution can be derived for the proximal step associated with this regularizer. We further extend the result for low-rank matrix learning and the total variation model. Experiments on both synthetic and real data sets show that the resultant accelerated proximal gradient algorithm is more efficient than other noncovex optimization algorithms.

연구 동기 및 목표

• ℓ₁ 및 ℓ₂ 노름의 조합인 ‖x‖₁ − ‖x‖₂로 구성된 비볼록 ℓ₁₋₂ 정규화자를 효율적으로 최적화하는 데 도전한다.
• DCA 및 SCP와 같은 기존 방법들이 비용이 많이 들고 수렴 속도가 느린 부문 문제 해결을 요구하는 점을 해결한다.
• 수렴 보장이 있는 프록시멀 기울기 알고리즘을 ℓ₁₋₂ 정규화에 적용할 수 있도록 저비용의 폐쇄형 프록시멀 단계를 유도한다.
• 제안된 해법을 낮은 질서 행렬 학습 및 총 변동성 모델로 확장하여 기계 학습 및 신호 처리 분야에서 더 넓은 적용 가능성을 확보한다.

제안 방법

• ℓ₁₋₂ 정규화자의 프록시멀 연산자에 대한 폐쇄형 해법을 유도하여, 임계값과 연속적 소프트 임계값 원칙을 사용해 argminₓ ½‖x − z‖₂² + λ(‖x‖₁ − ‖x‖₂) 문제를 해결한다.
• ℓ₁₋₂의 차분-볼록(DC) 구조를 활용해, 비볼록이고 비미분 가능한 정규화자에 대해서도 수렴이 보장되는 프록시멀 기울기 방법을 적용한다.
• 폐쇄형 프록시멀 단계를 활용하고 행렬 완성에서 낮은 질서 구조를 이용해 SVD 계산을 가속화하는 전용 알고리즘(nmAPG)을 설계한다.
• 핵심 노름과 총 변동성 모델에 프록시멀 단계를 적용함으로써 낮은 질서 행렬 학습으로의 프레임워크 확장을 수행하며, 효율성을 유지한다.
• 이미지 노이즈 제거를 위해 총 변동성과 ℓ₁₋₂ 정규화를 조합한 교대 최소화(AltMin) 알고리즘을 구현한다.
• 부정확한 선형 검색 및 질서 적응형 업데이트와 같은 효율적인 수치 기법을 사용해 정확성을 유지하면서도 속도를 확보한다.

실험 결과

연구 질문

• RQ1 비볼록 ℓ₁₋₂ 정규화자, 즉 ℓ₁ 및 ℓ₂ 노름의 차이에 대해 폐쇄형 프록시멀 단계를 도출할 수 있는가?
• RQ2 이러한 폐쇄형 프록시멀 단계를 사용하면, 희박성 및 낮은 질서 학습에서 프록시멀 기울기 알고리즘의 수렴 속도와 성능이 크게 향상되는가?
• RQ3 실제 데이터셋에서 DCA, FaNCL, AIS-Impute와 같은 최신 솔버와 비교해, 제안된 방법의 복원 정확도와 런타임은 어떠한가?
• RQ4 행렬 완성 및 이미지 노이즈 제거 작업에서 다른 비볼록 정규화자(예: 로그합벌점, 캡드 ℓ₁)보다 ℓ₁₋₂ 정규화자가 더 우수한 성능을 보일 수 있는가?
• RQ5 특히 낮은 질서 또는 총 변동성 구조와 결합했을 때, 제안된 방법은 대규모 문제에 대해 확장 가능하고 효과적인가?

주요 결과

• 행렬 완성에서 제안된 방법은 모든 테스트 이미지에서 가장 낮은 RMSE를 달성하여 핵심 노름 및 인수 기반 접근법을 모두 능가한다.
• 이미지 노이즈 제거에서 nmAPG는 DCA 대비 20~30배 빠르게 작동하면서도 유사한 재구성 품질을 확보한다.
• 행렬 완성에서 nmAPG는 대부분의 알고리즘보다 빠르면서도 AIS-Impute, SketchCG, ARSS-M3F, LMaFit, ER1MP보다 유의미하게 낮은 복원 오차를 기록한다.
• 폐쇄형 프록시멀 단계 덕분에 반복적인 하위문제 해결이 필요 없어져 단위 반복 비용이 감소하고 수렴 속도가 가속화된다.
• 합성 및 실세계 데이터 모두에서 ℓ₁₋₂ 정규화자는 다른 비볼록 정규화자보다 복원 정확도에서 뚜렷한 우수성을 보인다.
• 압축 감지, 행렬 완성, 이미지 노이즈 제거 등 다양한 작업에서 뛰어난 성능을 유지하며 광범위한 적용 가능성을 입증한다.