[논문 리뷰] A Smoothing Stochastic Gradient Method for Composite Optimization

Qihang Lin, Xi Chen외 1명|arXiv (Cornell University)|2010. 08. 31.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 10

한 줄 요약

이 논문은 기댓값 기반의 목표 함수와 비미분 성분을 포함하는 복합 볼록 최적화 문제를 위한 스무딩 스토하스틱 경사하강법을 제안한다. 비미분 성분이 특정 최대값 구조를 가질 경우 스무딩 기법을 통합함으로써, 수치적으로는 합성 데이터를 사용한 정규화된 선형 회귀 및 로지스틱 회귀 문제에서 $O(1/ ext{N})$ 수렴 속도를 달성한다.

ABSTRACT

We consider the unconstrained optimization problem whose objective function is composed of a smooth and a non-smooth conponents where the smooth component is the expectation a random function. This type of problem arises in some interesting applications in machine learning. We propose a stochastic gradient descent algorithm for this class of optimization problem. When the non-smooth component has a particular structure, we propose another stochastic gradient descent algorithm by incorporating a smoothing method into our first algorithm. The proofs of the convergence rates of these two algorithms are given and we show the numerical performance of our algorithm by applying them to regularized linear regression problems with different sets of synthetic data.

연구 동기 및 목표

• 목표 함수가 기댓값으로 정의된 미분 가능한 볼록 함수와 비미분 가능한 볼록 함수의 합인 복합 최적화 문제를 다루는 것.
• 정확한 기울기가 계산 비용이 많이 들기 때문에 대규모 문제를 효율적으로 처리할 수 있는 스토하스틱 경사하강 알고리즘을 개발하는 것.
• 투영 단계에 닫힌 형태의 해가 없는 경우를 고려해, 구조화된 비미분 성분에 대해 스무딩 기법을 도입하여 1차 최적화 방법을 확장하는 것.
• 기울기 분산과 리프시츠 연속성에 대한 표준 가정 하에 제안된 스토하스틱 알고리즘의 이론적 수렴 속도를 확립하는 것.
• 합성 데이터를 사용한 정규화된 회귀 문제에서의 수치 실험을 통해 알고리즘의 확장성과 효율성을 입증하는 것.

제안 방법

• 스무딩 성분 $f(x) = \mathbb{E}[F(x,\xi)]$ 에 대해 비편향 스토하스틱 기울기 $G(x,\xi)$ 를 사용하는 스토하스틱 경사하강 알고리즘을 제안하며, $\mathbb{E}[\|\nabla f(x) - G(x,\xi)\|^2] \leq \sigma^2$ 를 만족한다.
• 비미분 성분 $h(x)$ 가 $h(x) = \max_{v \in Q} v^T A x$ 형태일 경우, $\phi(x) = f(x) + h(x)$ 의 스무딩 근사치를 구성하기 위해 스무딩 기법을 도입한다.
• 네스테로프의 스무딩 기법을 적용하여 비미분 문제를 미분 가능한 문제로 변환함으로써, 효율적인 기울기 기반 최적화를 가능하게 한다.
• 이전의 스토하스틱 근사 방법에서 영감을 얻은 적응형 스텝 사이즈를 사용하며, 스토하스틱 서브기울기를 사용하는 가속화된 방법과는 다름을 강조한다.
• 투영 단계는 닫힌 형태의 해가 존재할 경우 직접 계산하거나, 그렇지 않을 경우 서브루틴을 통해 해결한다.
• 정규화된 선형 및 로지스틱 회귀 문제에 알고리즘을 적용하며, $\ell_1$-노름과 계층적 노름을 정규화 항으로 사용한다.

실험 결과

연구 질문

• RQ1 기댓값 기반의 목표 함수와 비미분 성분을 포함하는 복합 볼록 최적화 문제에서, 스토하스틱 경사하강법이 $O(1/\sqrt{N})$ 수렴 속도를 달성할 수 있는가?
• RQ2 구조화된 비미분 성분에 대해 스무딩 기법을 통합함으로써, 스토하스틱 경사하강법의 수렴성과 실용적 성능이 향상되는가?
• RQ3 제안된 알고리즘이 AC-SA 및 표준 SG와 같은 기존의 스토하스틱 1차 최적화 방법과 비교해 수렴 속도와 확장성 측면에서 어떻게 성능을 내는가?
• RQ4 스무딩 접근법을 통해 표준 투영 맵핑이 계산이 불가능한 경우에도 닫힌 형태의 투영을 가능하게 할 수 있는가?
• RQ5 대규모 합성 정규화 회귀 문제에서 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• 제안된 스토하스틱 경사하강법은 강력한 볼록성 없이도 비가속화된 스토하스틱 방법에서 알려진 최고 수준의 수렴 속도인 $O(1/\sqrt{N})$ 를 달성한다.
• 비미분 성분이 $h(x) = \max_{v \in Q} v^T A x$ 형태를 가진 문제에서는 스무딩 기반 변형이 더 빠른 수렴과 더 나은 수치 성능를 보인다.
• $K=1000$, $p=20$, $N=50,000$ 반복 횟수에서 $\ell_1$-정규화 로지스틱 회귀 문제에서 SSG는 스텝 사이즈를 적극적으로 선택함으로써 SG와 AC-SA를 능가한다.
• 계층적 노름 정규화 로지스틱 회귀 문제에서 $K=1000$, $p=32$ 일 때 SSG는 투영에 대해 닫힌 형태의 해를 허용함으로써 SG와 AC-SA보다 더 효율적이다.
• 합성 데이터에 대한 수치 결과는 다양한 정규화 구조에서 제안된 알고리즘의 확장성과 강건성을 확인한다.
• 투영 맵핑에 닫힌 형태의 해가 없을 경우에도 스무딩 기법을 활용해 효율적인 최적화를 가능하게 하여, 알고리즘이 효과적임을 입증한다.