[논문 리뷰] Logistic Regression: Tight Bounds for Stochastic and Online Optimization

Elad Hazan, Tomer Koren외 1명|arXiv (Cornell University)|2014. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 34

한 줄 요약

이 논문은 확률적 및 온라인 로지스틱 회귀의 수렴 속도에 대해 날카운 하한을 확립하여, 하위지수적 반복 횟수 하에서 힌지 손실과 같은 비스무스 손실보다 향상된 성능를 달성할 수 없음을 보여준다. 이는 2012년 COLT에서 제기된 열린 문제를 해결하며, 로지스틱 손실이 본질적인 기하학적 제약으로 인해 두 번째 차수 방법을 사용하더라도 $ widetilde{O}(D/ sqrt{T})$보다 더 빠른 다항식-의존 속도를 제공하지 못함을 증명한다.

ABSTRACT

The logistic loss function is often advocated in machine learning and statistics as a smooth and strictly convex surrogate for the 0-1 loss. In this paper we investigate the question of whether these smoothness and convexity properties make the logistic loss preferable to other widely considered options such as the hinge loss. We show that in contrast to known asymptotic bounds, as long as the number of prediction/optimization iterations is sub exponential, the logistic loss provides no improvement over a generic non-smooth loss function such as the hinge loss. In particular we show that the convergence rate of stochastic logistic optimization is bounded from below by a polynomial in the diameter of the decision set and the number of prediction iterations, and provide a matching tight upper bound. This resolves the COLT open problem of McMahan and Streeter (2012).

연구 동기 및 목표

• 로지스틱 손실의 매끄러움과 엄격한 볼록성으로 인해 비스무스 손실(예: 힌지 손실)보다 빠른 수렴 속도를 확보할 수 있는지 여부를 규명하는 것.
• McMahan과 Streeter(2012)가 제기한 다차원 온라인 로지스틱 회귀에서 다항식-의존 성능 경계가 존재하는지 여부에 대한 COLT 2012 열린 문제를 해결하는 것.
• 실제로 하위지수적 반복 횟수 하에서 로지스틱 회귀의 최대한 날카운 수렴 및 성능 경계 속도를 특성화하는 것.
• 결정 집합의 지름 D가 두 번째 차수 최적화 방법의 성능에 미치는 제약 역할을 분석하는 것.

제안 방법

• 최적점 주변에서 거의 선형 손실 함수를 유도하는 데이터 인스턴스의 철저히 구성된 분포를 사용하여, 확률적 로지스틱 최적화의 수렴 속도에 하한을 도출한다.
• exp-concavity 개념을 적용하고 로지스틱 손실의 헤시안과 기울기 간의 관계를 활용하여 곡률 성질을 제한한다.
• 로지스틱 손실 함수의 조각별 제곱근 근사법을 사용하여, $x_t w_t$의 부호에 따라 다른 정규화 조건을 유지하는 하한을 제공하는 대체 손실 함수를 구성한다.
• 어떤 알고리즘이 $\widetilde{O}(\text{poly}(D)/T)$ 속도를 달성한다면, 유도된 하한 $\Omega(\sqrt{D/T})$와 모순됨을 보여주는 감소 추론 기법을 사용한다.
• 일차원 및 다차원 설정을 별도로 분석하여, $n=1$과 $n\geq2$ 사이에서 최적 수렴 속도에 단계 전이가 발생하는 것을 밝혀낸다.
• 확률적 경사하강법을 통한 상한이 일치함을 증명하여, 다차원 케이스에서 $O(D/\sqrt{T})$ 속도가 $\sqrt{D}$ 요소를 제외하고 날카로움을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 확률적 최적화에서 로지스틱 손실의 매끄러움과 엄격한 볼록성이 힌지 손실과 같은 비스무스 손실보다 더 빠른 수렴 속도를 제공할 수 있는가?
• RQ2 McMahan과 Streeter(2012)의 추측에 따르면, 연속된 레이블을 가진 온라인 로지스틱 회귀 설정에서 $O(\text{poly}(D)\log T)$ 형태의 성능 경계가 달성 가능한가?
• RQ3 반복 횟수 $T$가 지름 $D$에 대해 하위지수적일 경우, 확률적 로지스틱 회귀의 최대한 날카운 수렴 속도는 무엇인가?
• RQ4 문제의 차원 수($n=1$ 대비 $n\geq2$)가 최적 수렴 속도에 본질적인 단계 전이를 유도하는가?
• RQ5 온라인 뉴턴 스텝과 같은 두 번째 차수 방법은 진정으로 로지스틱 회귀에 유리한가, 아니면 $D$에 대해 지수적 의존성으로 인해 손해를 보는가?

주요 결과

• 확률적 로지스틱 최적화의 수렴 속도는 $\Omega(\sqrt{D/T})$로 하한이 존재하며, 이는 $\sqrt{D}$ 요소를 제외하고는 확률적 경사하강법의 속도와 일치함을 보여주며, 매끄러움으로 인한 향상이 없음을 시사한다.
• 다차원 케이스($n\geq2$)에서는 최적 수렴 속도가 $\Theta(D/\sqrt{T})$이며, $T$가 $D$에 대해 지수적으로 클 경우를 제외하고는 $\widetilde{O}(\text{poly}(D)/T)$ 속도를 달성할 수 없다.
• 일차원 로지스틱 회귀($n=1$)의 경우 최적 수렴 속도는 $\Theta(T^{-2/3})$이며, 이는 차원 수에 따른 수렴 행동의 단계 전이를 보여준다.
• 논문은 COLT 2012 열린 문제를 해결하여, 연속된 레이블을 가진 일반적인 다차원 온라인 설정에서 $O(\text{poly}(D)\log T)$ 성능 경계가 존재하지 않음을 증명한다.
• 분석 결과, 이전 연구에서 제안한 데이터에 의존하는 매개변수(예: Bach와 Moulines, 2013의 $\rho$)는 최악의 경우 $D$에 대해 지수적으로 커져야 하며, 이는 실용적인 빠른 수렴 속도를 무효화한다.
• 하한은 $T = O(e^D)$의 범위에 적용되며, 이는 실질적으로 중요한 하위지수적 반복 횟수를 의미하며, $T \to \infty$를 가정하는 점 渐진적 하한과 대비된다.