[논문 리뷰] SDNA: Stochastic Dual Newton Ascent for Empirical Risk Minimization

Zheng Qu, Peter Richtárik외 2명|arXiv (Cornell University)|2015. 02. 08.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 43

한 줄 요약

SDNA는 경험적 리스크 최소화를 위한 새로운 스토하스틱 듀얼 뉴턴 상승 알고리즘으로, 랜덤 서브셋에서의 전체 곡률 정보를 활용하여, 더 큰 미니배치 크기로 갈수록 향상되는 기하 수렴 속도를 달성한다. 기존의 SDCA와 같은 전통적 방법과는 달리, 반복 횟수와 데이터 통과 횟수를 줄여, 특히 조밀한 문제에서 뛰어난 성능을 발휘한다. 이는 이차 손실 함수에 대해 반복 헤시안 스케치의 변종으로 해석될 수 있다.

ABSTRACT

We propose a new algorithm for minimizing regularized empirical loss: Stochastic Dual Newton Ascent (SDNA). Our method is dual in nature: in each iteration we update a random subset of the dual variables. However, unlike existing methods such as stochastic dual coordinate ascent, SDNA is capable of utilizing all curvature information contained in the examples, which leads to striking improvements in both theory and practice - sometimes by orders of magnitude. In the special case when an L2-regularizer is used in the primal, the dual problem is a concave quadratic maximization problem plus a separable term. In this regime, SDNA in each step solves a proximal subproblem involving a random principal submatrix of the Hessian of the quadratic function; whence the name of the method. If, in addition, the loss functions are quadratic, our method can be interpreted as a novel variant of the recently introduced Iterative Hessian Sketch.

연구 동기 및 목표

• 일阶 및 제한된 곡률을 가지는 이阶 방법의 한계를 해결하기 위해, 스토하스틱 환경에서 전체 헤시안 정보를 통합함으로써 경험적 리스크 최소화를 향상시키는 것.
• 랜덤 미니배치 데이터에서 곡률을 효율적으로 활용하는 듀얼 기반 최적화 알고리즘을 개발하여 수렴 속도를 향상시키고 데이터 통과 횟수를 감소시키는 것.
• 미니배치 크기가 증가함에 따라 수렴 속도가 향상되는 기하 수렴을 보장하는 이론적 복잡도 한계를 설정하며, SDCA 유사 방법의 성능 악화와 대비되는 것.
• 이차 손실 함수에 대해 SDNA가 반복 헤시안 스케치의 새로운 변종으로 해석될 수 있음을 보이며, 최근의 스케칭 기반 헤시안 근사 기법과 연결하는 것.
• 실제 및 합성 데이터셋에서 SDCA 및 기타 듀얼 좌표 상승 방법과의 포괄적 비교를 제공하여 런타임 및 수렴 성능에서의 우월성을 입증하는 것.

제안 방법

• L2 정규화를 사용할 경우, 정규화된 경험적 리스크 최소화 문제의 듀얼 공식화를 제안하며, 듀얼 목표 함수는 이차 함수와 분리 가능한 항의 합으로 구성된다.
• 각 반복 단계에서 예측값에 대응하는 듀얼 변수의 랜덤 서브셋(예시의 미니배치에 해당)을 선택하고, 듀얼 목표 함수의 주된 부분행렬을 포함하는 프록시멀 하위문제를 해결한다.
• 선택된 듀얼 변수에 의해 생성되는 부분공간에서 정확한 최대화를 수행함으로써, 선택된 데이터 포인트로부터의 전체 곡률 정보를 활용한다.
• 손실 함수가 이차일 경우, SDNA의 원래 해석을 반복 헤시안 스케치의 변종으로 유도하며, 스케칭 기반 헤시안 근사 기법과 연결한다.
• Shalev-Shwartz & Zhang (2013d)의 수렴 분석 기법을 임의의 샘플링 전략으로 일반화하여 기대 이중성 갭에 대한 복잡도 한계를 도출한다.
• 공정한 비교를 위해 SDCA의 미니배치 변종을 도입하며, 미니배치 크기가 증가함에 따라 SDNA와 SDCA의 행동 차이를 부각시킨다.

실험 결과

연구 질문

• RQ1 스토하스틱 듀얼 방법이 랜덤 데이터 서브셋으로부터의 전체 곡률 정보를 활용하면서도 기하 수렴을 달성할 수 있는가?
• RQ2 SDNA의 수렴 속도는 미니배치 크기가 증가함에 따라 어떻게 변화하며, SDCA와 같은 일阶 방법과 비교해 향상되는가?
• RQ3 데이터 통과 횟수와 런타임 측면에서, SDNA는 어떤 영역에서 기존의 듀얼 좌표 상승 방법을 초월하는가?
• RQ4 SDNA는 이차 손실 함수에 대해 반복 헤시안 스케치의 새로운 변종으로 해석될 수 있는가?
• RQ5 미니배치 크기가 증가함에 따라, SDNA의 반복 비용과 수렴 속도 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• SDNA는 기대 이중성 갭에 대해 기하 수렴을 달성하며, 미니배치 크기가 증가함에 따라 수렴 속도가 향상된다. 이는 SDCA와는 반대로, 더 큰 미니배치에서는 더 많은 통과 횟수가 필요로 하는 경향을 보인다.
• 동일한 문제에서 SDNA는 더 큰 미니배치 크기를 사용할수록 데이터 통과 횟수를 크게 감소시켜 실질적인 수렴 속도 향상을 이룬다.
• 실제 및 합성 데이터셋 모두에서, SDNA는 최대 16의 미니배치 크기까지 뛰어난 런타임 성능을 보이며, 이후 반복 비용이 지배적이 되어 성능이 저하된다.
• 이 방법의 런타임 향상은 곡률 정보가 전체 부분헤시안을 통해 제공되는 조밀한 문제에서 가장 두드러지게 나타나며, 빠른 성능 향상을 이끈다.
• 손실 함수가 이차일 경우, SDNA는 반복 헤시안 스케치의 새로운 변종과 동일하며, 듀얼 뉴턴 방법과 스케칭 기반 헤시안 근사 기법 사이의 이론적 연결 고리를 확립한다.
• 수치 실험을 통해 SDNA의 반복 비용은 미니배치 크기가 증가함에 따라 증가함을 확인했지만, 소형 및 중간 크기의 미니배치에서는 전체 런타임이 여전히 열세를 보인다.