[논문 리뷰] Stochastic DCA for minimizing a large sum of DC functions with application to Multi-class Logistic Regression

Hoai An Le Thi, Hoai Minh Le외 2명|arXiv (Cornell University)|2019. 11. 10.

Stochastic Gradient Optimization Techniques참고 문헌 51인용 수 32

한 줄 요약

논문은 대규모 DC 함수 합을 최소화하기 위한 확률적(Stochastic) 및 부정확한 확률적(Inexact stochastic) DC 알고리즘(SDCA 및 ISDCA)을 도입하고, 이들의 임계점으로의 수렴을 보이고, 강력한 실험 결과를 가진 다중 클래스 로지스틱 회귀에서 그룹 변수 선택에 이를 적용한다.

ABSTRACT

We consider the large sum of DC (Difference of Convex) functions minimization problem which appear in several different areas, especially in stochastic optimization and machine learning. Two DCA (DC Algorithm) based algorithms are proposed: stochastic DCA and inexact stochastic DCA. We prove that the convergence of both algorithms to a critical point is guaranteed with probability one. Furthermore, we develop our stochastic DCA for solving an important problem in multi-task learning, namely group variables selection in multi class logistic regression. The corresponding stochastic DCA is very inexpensive, all computations are explicit. Numerical experiments on several benchmark datasets and synthetic datasets illustrate the efficiency of our algorithms and their superiority over existing methods, with respect to classification accuracy, sparsity of solution as well as running time.

연구 동기 및 목표

• 대규모 DC 함수 합 F(x) = (1/n) sum_i F_i(x)를 최소화하는 대규모 문제를 다룬다.
• 각 반복마다 DC 구성요소의 부분집합만 업데이트하여 계산량을 줄이기 위해 SDCA와 ISDCA를 개발한다.
• SDCA와 ISDCA 모두에 대해 임의의 조건에서 거의 확실한 임계점으로의 수렴을 보장한다.
• 제안된 방법을 다중 클래스 로지스틱 회귀의 그룹 변수 선택에 적용하고 실제 및 합성 데이터 세트에서 효율성을 시연한다.

제안 방법

• 각 F_i를 DC 함수 F_i = g_i - h_i로 형식화하고 F = G - H로 집계한다. 여기 G = (1/n) sum g_i, H = (1/n) sum h_i.
• 각 반복에서 h_i의 하한들 중 임의 부분집합만 업데이트하고 볼록 하위문제(8)를 풀이하여 SDCA를 제안한다.
• 볼록 하위문제를 다음과 같이 정의한다: min_x { G(x) - <v^l, x> } 여기서 v^l ∈ ∂H(x^l).
• 경미한 조건 하에서 SDCA가 임계점으로 거의 확실하게 수렴한다는 것을 증명하고, ∑ ||x^{l}-x^{l-1}||^2 < ∞ 및 ρ(h_i) > 0일 때 ||x^{l}-x^{l-1}|| → 0 a.s. 를 확립한다.
• 수렴 특성을 보존하면서 ε-부분기울기와 ε-해 계산을 허용하여 ISDCA를 도입한다. 이때 ∑ ε^l < ∞.
• η_α를 통해 ℓ_{q,0}-노름을 근사하는 비볼록 페널티를 사용하여 다중 클래스 로지스틱 회귀의 그룹 변수 선택 맥 context에서 SDCA/ISDCA를 시연하고 결과 DC-프로그램들을 해결한다.

실험 결과

연구 질문

• RQ1 SDCA가 매 반복마다 구성 요소의 부분집합만 업데이트하여 대규모 DC 함수의 합을 효율적으로 최소화할 수 있는가?
• RQ2 SDCA와 그 부정확한 변형인 ISDCA가 대규모 합 DC 목적함수의 임계점으로 거의 확실하게 수렴하는가?
• RQ3 비볼록 ℓ_{q,0} 유형의 규제화를 가진 다중 클래스 로지스틱 회귀의 그룹 변수 선택에 SDCA를 어떻게 적용할 수 있는가?
• RQ4 대규모 데이터셋에서 정확도, 희소성, 실행 시간 측면에서 제안된 접근법이 기존 방법들과 어떻게 비교되는가?

주요 결과

• SDCA와 ISDCA 모두 대규모 합 DC 목적함수의 임계점으로 거의 확실하게 수렴한다.
• SDCA가 일부 h_i 구성요소만 업데이트되고 부정확한 계산(ISDCA)에서도 수렴 보장을 유지한다.
• 확률적 방법들은 비볼록 페널티를 갖는 다중 클래스 로지스틱 회귀의 그룹 변수 선택에 대해 효율적이고 확장 가능한 최적화를 가능하게 한다.
• 실제 및 합성 데이터에서의 대규모 수치 실험은 관련 방법들에 비해 높은 정확도, 더 큰 희소성, 그리고 실행 시간 감소를 보여준다.