[논문 리뷰] Regularized Risk Minimization by Nesterov's Accelerated Gradient Methods: Algorithmic Extensions and Empirical Studies

Xinhua Zhang, Ankan Saha외 1명|arXiv (Cornell University)|2010. 11. 01.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 5

한 줄 요약

이 논문은 브레그만 발산 기반의 프록스 함수를 사용하여 네스테로프의 가속 경사 하강법(AGM)을 강凸성과 복합 정규화된 리스크 최소화 문제로 확장한다. 이로써 적응형 리프시츠 상수 추정과 이중성 갭의 날카로운 경계 설정이 가능해지며, 경험적 리스크를 스무딩하면 AGM의 성능이 향상되어 효율적인 기울기 계산과 수렴 보장이 가능해, 최신 솔버들을 능가하는 성능을 달성한다.

ABSTRACT

Nesterov's accelerated gradient methods (AGM) have been successfully applied in many machine learning areas. However, their empirical performance on training max-margin models has been inferior to existing specialized solvers. In this paper, we first extend AGM to strongly convex and composite objective functions with Bregman style prox-functions. Our unifying framework covers both the $\infty$-memory and 1-memory styles of AGM, tunes the Lipschiz constant adaptively, and bounds the duality gap. Then we demonstrate various ways to apply this framework of methods to a wide range of machine learning problems. Emphasis will be given on their rate of convergence and how to efficiently compute the gradient and optimize the models. The experimental results show that with our extensions AGM outperforms state-of-the-art solvers on max-margin models.

연구 동기 및 목표

• 강한 이론적 수렴 속도에도 불구하고 최대 마진 모델에서 표준 네스테로프의 가속 경사 하강법(AGM)의 낮은 경험적 성능을 해결하기 위해.
• 브레그만 스타일의 프록스 함수를 사용하여 AGM을 강凸성과 복합 목적함수로 일반화하는 프레임워크를 개발하기 위해.
• 비연속 목적함수에 대해 AGM 프레임워크 내에서 리프시츠 상수의 적응형 추정과 날카로운 이중성 갭 경계 설정을 가능하게 하기 위해.
• 경험적 리스크 스무딩이 최대 마진 문제에서 AGM의 수렴 속도와 실용적 성능을 향상시킨다는 것을 입증하기 위해.
• 제안된 프레임워크가 강凸성 하에서 선형 수렴을 보장하면서도 효율적인 기울기 계산이 가능한 다양한 기계학습 문제에 일반화될 수 있음을 보여주기 위해.

제안 방법

• 비연속 경험적 리스크 $ R_{\text{emp}}(\boldsymbol{w}) $ 를 스무딩하여 기울기 기반 최적화가 가능한 부드러운 근사치 $ \tilde{R}_{\text{emp}}(\boldsymbol{w}) $ 로 변환하는 기법을 도입한다.
• 정규화된 리스크 최소화 문제를 복합 목적함수 $ J(\boldsymbol{w}) = \frac{1}{2}\norm{\boldsymbol{w}}_2^2 + \tilde{R}_{\text{emp}}(\boldsymbol{w}) $ 로 재구성하여, 부드러움 덕분에 $ \theta $-정확도에서 $ O(1/\theta) $ 수렴 속도를 달성한다.
• 브레그만 발산 기반 프록스 함수를 AGM에 통합하여 $ L_1 $-노름 및 엘라스틱 넷과 같은 비연속 정규화 항을 다룰 수 있도록 복합 최적화를 가능하게 한다.
• 스무딩된 이중 함수 $ g_\nu^\bullet(A\boldsymbol{w}) $ 의 헤시안 기반 분석을 도출하여, 그 리프시츠 상수가 $ \boldsymbol{a}_i \boldsymbol{a}_i^\top $ 의 가중합의 최대 고유값에 의존하며, 최적의 $ b_i $ 선택에 의해 최소화됨을 보여준다.
• 가장 큰 고유벡터를 효율적으로 계산하기 위해 파wr 이터레이션을 사용하여 $ \boldsymbol{A}^\top \boldsymbol{A} $ 의 주요 고유벡터를 추정하고, 이를 통해 리프시츠 상수를 최소화하는 스무딩 파라미터 $ b_i $ 의 최적 선택을 유도한다.
• 다양한 스무딩 파라미터로 점진적으로 해를 정밀화하는 히터모피(annealing) 기법을 적용하여, 최적 상태에서 대부분의 이중 변수 $ \boldsymbol{\nu}_i $ 가 0이 되므로 근사가 정밀해짐을 활용한다.

실험 결과

연구 질문

• RQ1 브레그만 발산 기반 프록스 함수를 사용하여 네스테로프의 가속 경사 하강법을 복합적이고 강凸성 있는 정규화된 리스크 최소화 문제로 효과적으로 확장할 수 있는가?
• RQ2 최대 마진 모델에서 경험적 리스크를 스무딩하면 직접적인 이중 또는 원-이중 공식화에 비해 AGM의 실용적 성능이 향상되는가?
• RQ3 비연속적이고 복합적인 목적함수에 대해 AGM 프레임워크 내에서 리프시츠 상수의 적응형 추정과 이중성 갭 경계 설정이 가능한가?
• RQ4 스무딩 파라미터의 선택이 스무딩된 목적함수의 수렴 속도와 리프시츠 상수에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 이론적 수렴 보장을 유지하면서도 SVM과 같은 최대 마진 모델 학습에서 전용 솔버들을 능가할 수 있는가?

주요 결과

• 경험적 리스크 $ R_{\text{emp}}(\boldsymbol{w}) $ 를 스무딩하면 부드럽고 비제약 최적화 문제로 변환되어 $ \theta $-정확도에서 $ O(1/\theta) $ 수렴 속도를 달성하며, 이는 최대 마진 모델에서 AGM의 실용적 성능을 크게 향상시킨다.
• 제안된 프레임워크는 정규화항 $ \frac{1}{2}\norm{\boldsymbol{w}}_2^2 $ 가 강凸성 조건을 만족할 경우 선형 수렴을 달성하며, 실무에서의 빠른 수렴에 매우 중요하다.
• 스무딩된 이중 함수의 리프시츠 상수는 $ b_i^2 = |\boldsymbol{a}_i^\top \boldsymbol{v}^*| $ 로 선택할 경우 최소화되며, 여기서 $ \boldsymbol{v}^* $ 는 $ \boldsymbol{A}^\top \boldsymbol{A} $ 의 주요 고유벡터이다. 이는 수렴 속도 향상에 기여한다.
• 히터모피 기법(스무딩 파라미터를 안내하는 방식)을 통해 알고리즘이 빠르게 고품질 해에 수렴할 수 있으며, 최적 상태에서 대부분의 이중 변수 $ \boldsymbol{\nu}_i $ 가 0이므로 근사가 정밀해진다.
• 경험적 결과로 제안된 AGM 프레임워크가 이전에 이 분야에서 성능이 열등했던 점을 감안할 때, 최신 전용 솔버들을 능가하는 성능을 보였다.
• 복합 최적화 기법을 활용하여 $ L_1 $-노름, $ L_{1,\text{infty}} $, 엘라스틱 넷 정규화 항으로 일반화 가능하며, 비가역 정규화 항이 존재하더라도 여전히 $ O(1/\theta) $ 수렴 속도를 유지한다.