[논문 리뷰] Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization

Bin Gu, Wang De외 2명|arXiv (Cornell University)|2016. 12. 18.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 10

한 줄 요약

이 논문은 비볼록성과 비연속성에 대한 최적화를 위한 근사 프락시멀 그래디언트 방법을 제안하며, 기존 방법이 제한되어 있는 비볼록 설정으로 근사 알고리즘을 확장한다. 기본 및 가속된 근사 프락시멀 그래디언트 알고리즘을 도입하여 정확한 대응체와 동일한 수렴 속도를 달성하며, OSCAR, 저랭크 행렬 복원, 그리고 코르렌토피 손실을 사용한 강건한 회귀에 대해 검증된다.

ABSTRACT

In machine learning research, the proximal gradient methods are popular for solving various optimization problems with non-smooth regularization. Inexact proximal gradient methods are extremely important when exactly solving the proximal operator is time-consuming, or the proximal operator does not have an analytic solution. However, existing inexact proximal gradient methods only consider convex problems. The knowledge of inexact proximal gradient methods in the non-convex setting is very limited. % Moreover, for some machine learning models, there is still no proposed solver for exactly solving the proximal operator. To address this challenge, in this paper, we first propose three inexact proximal gradient algorithms, including the basic version and Nesterov's accelerated version. After that, we provide the theoretical analysis to the basic and Nesterov's accelerated versions. The theoretical results show that our inexact proximal gradient algorithms can have the same convergence rates as the ones of exact proximal gradient algorithms in the non-convex setting. Finally, we show the applications of our inexact proximal gradient algorithms on three representative non-convex learning problems. All experimental results confirm the superiority of our new inexact proximal gradient algorithms.

연구 동기 및 목표

• 비볼록 최적화 설정에서 근사 프락시멀 그래디언트 방법에 대한 이론적 수렴 보장을 부족한 문제를 해결한다.
• 기본 및 네스테로프 가속 버전을 포함한 근사 프락시멀 그래디언트 알고리즘을 비볼록성과 비연속성 문제를 다룰 수 있도록 확장한다.
• 이론적 분석을 통해 근사 방법이 비볼록 설정에서 정확한 방법과 동일한 수렴 속도를 유지함을 보여준다.
• 실제 비볼록 학습 문제에서 제안된 근사 방법의 실용적 우수성을 입증한다.
• OSCAR 및 트레이스 라소와 같은 복잡한 정규화 설정에서 근사 프락시멀 연산자를 효율적으로 계산하기 위한 서브그래디언트 기반 알고리즘을 개발한다.

제안 방법

• 비볼록성과 비연속성 문제를 위한 기본(IPS) 및 네스테로프 가속 버전(AIPS)의 근사 프락시멀 그래디언트 알고리즘 세 가지를 제안한다.
• 오차 허용 범위 $ \varepsilon $를 갖는 하위문제 $ Q(x; x_{k-1}) = \frac{1}{2\gamma}\|x - (x_{k-1} - \gamma\nabla g(x_{k-1}))\|^2 + h(x) $ 를 푸는 데 서브그래디언트 알고리즘(알고리즘 4)을 도입하여 근사 프락시멀 연산자를 계산한다.
• 근사 프락시멀 단계의 수렴을 모니터링하기 위해 이중성 갭 계산(알고리즘 5)을 활용하며, 이중 함수 $ \widetilde{Q}(\alpha; x_{k-1}) $ 와 최적의 이중 변수 $ \alpha $ 를 사용한다.
• 근사 해가 요구되는 오차 범위를 충족함을 보장하기 위해 이중성 갭 $ G(x_t; x_{k-1}) = Q(x_t; x_{k-1}) - \widetilde{Q}(\alpha_t; x_{k-1}) $ 를 정의한다.
• 비볼록 문제에 비연속 정규화를 적용한 근사 프락시멀 그래디언트 방법을 적용하며, 이는 코르렌토피 손실을 사용한 OSCAR, 저랭크 행렬 복원, 강건한 회귀를 포함한다.
• 근사 프락시멀 단계에서 오차가 적절한 비율로 감소할 경우 수렴 속도가 유지됨을 증명함으로써 이론적 수렴 속도를 확립한다. 이는 $ g(x) $ 와 $ h(x) $ 가 비볼록일 경우에도 성립한다.

실험 결과

연구 질문

• RQ1 근사 프락시멀 그래디언트 방법을 비볼록성과 비연속성 최적화 문제로 확장할 수 있으며, 이때 수렴 보장이 유지되는가?
• RQ2 비볼록 설정에서 근사 프락시멀 그래디언트 알고리즘이 정확한 대응체와 동일한 수렴 속도를 유지하는가?
• RQ3 OSCAR나 트레이스 라소와 같은 복잡한 정규화 함수에 대해 효율적인 근사 프락시멀 연산자를 어떻게 계산할 수 있는가?
• RQ4 비볼록 최적화에서 수렴을 보장하기 위해 근사 프락시멀 단계에 대한 오차 허용 조건은 무엇인가?
• RQ5 제안된 근사 방법은 실제 비볼록 기계 학습 문제에서 정확한 방법이나 기존의 근사 방법보다 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 근사 프락시멀 그래디언트 알고리즘은 비볼록 설정에서 정확한 방법과 동일한 수렴 속도를 달성하며, 가속 버전의 수렴 속도는 $ O(1/k^2) $ 이다.
• 이론적 분석을 통해 근사 프락시멀 단계의 오차가 적절한 비율로 감소할 경우, 비볼록 함수 $ g(x) $ 와 $ h(x) $ 일지라도 수렴 속도가 유지됨을 증명한다.
• 코르렌토피 손실을 사용한 OSCAR에 대한 실험에서, 근사 방법은 반복당 비용이 감소하여 정확한 방법보다 빠르게 수렴한다.
• 저랭크 행렬 복원 문제에서 근사 방법은 정확한 해법에 비해 유사하거나 더 뛰어난 해의 질을 달성하면서도 뚜렷이 감소된 런타임을 기록한다.
• 코르렌토피 유도 손실을 사용한 강건한 회귀에서 근사 방법은 기준 방법보다 더 낮은 목적 함수 값을 수렴함으로써 강건성과 효율성을 입증한다.
• 이중성 갭 모니터링을 통한 서브그래디언트 기반 근사 프락시멀 해법은 정확성과 속도 사이의 균형을 효과적으로 유지하며, 고차원 문제의 확장성까지 가능하게 한다.