[논문 리뷰] Efficient Learning with a Family of Nonconvex Regularizers by Redistributing Nonconvexity

Quanming Yao, James T. Kwok|arXiv (Cornell University)|2016. 06. 13.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 비볼록 정규화자를 손실 함수로 비볼록성을 이행함으로써 비볼록 정규화자를 효율적으로 최적화할 수 있는 새로운 프레임워크를 제안한다. 이 과정에서 정규화자는 볼록 형태로 변환되지만 부드러움을 유지한다. 이 방법을 통해 기존의 빠른 볼록 최적화 알고리즘(예: 프록시멀, 프랭크-울프, ADMM)을 사용할 수 있게 되어, 행렬 완성 및 이미지 노이즈 제거와 같은 벤치마크 작업에서 최신 비볼록 솔버보다 훨씬 빠른 수렴 속도를 달성한다.

ABSTRACT

The use of convex regularizers allows for easy optimization, though they often produce biased estimation and inferior prediction performance. Recently, nonconvex regularizers have attracted a lot of attention and outperformed convex ones. However, the resultant optimization problem is much harder. In this paper, for a large class of nonconvex regularizers, we propose to move the nonconvexity from the regularizer to the loss. The nonconvex regularizer is then transformed to a familiar convex regularizer, while the resultant loss function can still be guaranteed to be smooth. Learning with the convexified regularizer can be performed by existing efficient algorithms originally designed for convex regularizers (such as the proximal algorithm, Frank-Wolfe algorithm, alternating direction method of multipliers and stochastic gradient descent). Extensions are made when the convexified regularizer does not have closed-form proximal step, and when the loss function is nonconvex, nonsmooth. Extensive experiments on a variety of machine learning application scenarios show that optimizing the transformed problem is much faster than running the state-of-the-art on the original problem.

연구 동기 및 목표

• 비볼록 정규화 학습에서 느린 최적화 문제를 해결하기 위해, 기존 솔버(예: nmAPG)가 비용이 많이 드는 프록시멀 단계로 인해 계산적으로 비효율적인 문제를 해결하고자 한다.
• 보다 나은 희박성 및 저질서 추정을 위해 흔히 사용되는 비볼록 정규화자를 효율적으로 최적화하기 위해, 정규화자의 볼록성을 유지하면서 문제를 재구성하고자 한다.
• 전반적인 목적 함수의 부드러움을 유지함으로써, 프록시멀 알고리즘, 프랭크-울프, ADMM와 같은 효율적인 1차 최적화 방법의 적용을 가능하게 하고자 한다.
• 볼록화된 정규화자가 닫힌 형태의 프록시멀 연산자를 갖지 못하거나 손실 함수가 비볼록이고 비부드러운 경우에도 이 프레임워크를 확장하고자 한다.
• 기존 비볼록 형식을 최적화하는 것보다 변환된 문제를 해결하는 것이 훨씬 더 빠르며, 예측 성능을 유지하거나 향상시키는 것을 실증적으로 검증하고자 한다.

제안 방법

• 비볼록 정규화자 $ g(x) $를 볼록 부분 $ \hat{g}(x) $와 오목 부분 $ \tilde{g}(x) $로 분해하여 $ g(x) = \hat{g}(x) + \tilde{g}(x) $로 표현하고, $ \tilde{g}(x) $ 를 손실 함수 $ f(x) $ 에 통합함으로써 비볼록성을 재분배한다.
• 이로 인해 원래의 비볼록 문제 $ \min_x f(x) + g(x) $ 는 $ \tilde{f}(x) + \hat{g}(x) $ 의 형태로 변환되며, 여기서 $ \tilde{f}(x) = f(x) + \tilde{g}(x) $ 는 부드럽고 $ \hat{g}(x) $ 는 볼록하므로, 효율적인 볼록 최적화 알고리즘의 적용이 가능해진다.
• 닫힌 형태의 프록시멀 연산자가 없는 정규화자에 대해서는 반복적 근사 기법이나 스무딩을 사용하며, 예를 들어 $ h_\lambda(x) $ 를 통한 LSP 함수의 스무딩을 통해 기울기 기반 방법에 적합한 문제로 변환한다.
• 손실 함수가 비볼록이거나 비부드러운 경우, 스무딩 기법(예: 로그-합 페널티 스무딩) 또는 DC 프로그래밍(CCDD)을 적용하여 비부드러움을 다루되, 수렴 보장을 유지한다.
• 이 방법은 행렬 완성 및 이미지 노이즈 제거에 대해 검증되었으며, 변환된 문제에 대해 프록시멀 기반 기울기, 프랭크-울프, ADMM 등의 알고리즘을 적용하였다.
• smoothing 수준 $ \lambda_i $ 에서의 온전한 시작(워밍스타트)을 지원하며, 여기서 $ \lambda_i = \lambda_0 \cdot \nu^i $ 이므로 순차적 최적화에서 수렴 속도를 가속화할 수 있다.

실험 결과

연구 질문

• RQ1 비볼록 정규화자를 원래 문제의 구조를 유지하면서 볼록 형태로 변환함으로써 효율적으로 최적화할 수 있는가?
• RQ2 정규화자의 비볼록성을 손실 함수로 이행함으로써 표준 볼록 최적화 알고리즘을 사용해 더 빠른 수렴을 달성할 수 있는가?
• RQ3 변환된 문제의 성능는 nmAPG와 같은 최신 비볼록 솔버와 비교해 속도와 정확도 측면에서 어떻게 다른가?
• RQ4 닫힌 형태의 프록시멀 단계가 없는 복잡한 비볼록 정규화자(예: 융합 라소, 오버랩 라소 그룹)에 대해서도 이 프레임워크가 적용 가능한가?
• RQ5 스무딩과 DC 분해의 영향은 비볼록 최적화에서 수렴 속도와 해의 품질에 어떤 영향을 미치는가?

주요 결과

• 원래 비볼록 문제에서 최신 nmAPG를 실행하는 것보다 변환된 문제를 볼록 솔버(예: 프록시멀, 프랭크-울프, ADMM)로 최적화하는 것이 훨씬 더 빠른 수렴 속도를 보였다.
• 볼록 정규화자(예: $ \ell_1 $, 핵자리 노름)와 비교해 유사하거나 더 나은 예측 성능를 달성하면서도, 이러한 방법들에 내재된 편향을 피할 수 있었다.
• 행렬 완성 및 이미지 노이즈 제거 작업에서, 제안된 방법은 기존 비볼록 솔버보다 수렴 속도에서 뛰어난 성능를 보였다. nmAPG 대비 보고된 속도 향상도 확인되었다.
• LSP 정규화자를 $ h_\lambda(x) $ 를 통해 스무딩하고 $ \lambda_0 = 0.1 $, $ \nu = 0.95 $ 로 설정한 순차적 최적화를 통해 기울기 강하법를 사용해 안정적이고 빠른 수렴이 가능했다.
• 이론적 분석을 통해 랭크-$ r $ 분해를 사용한 변환된 문제의 임계점은 원래 문제의 임계점과 일치함을 확인하였으며, 이는 해 품질을 보장한다.
• CCCP 및 스무딩을 통해 비볼록이고 비부드러운 손실 함수로 일반화 가능하며, 수렴 성질을 유지하면서도 효율적인 최적화를 가능하게 한다.