[논문 리뷰] Parallel Stochastic Newton Method

Mojmír Mutný, Peter Richtárik|Edinburgh Research Explorer|2017. 05. 04.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 매끄럽고 강하게 볼록인 함수를 최소화하기 위해 병렬 확률적 뉴턴 방법(PSN)을 제안한다. 이 방법은 랜덤으로 겹치는 부분 행렬을 샘플링하여 곡률 정보를 활용함으로써 수렴 속도를 가속화한다. 이는 특히 경험적 리스크 최소화와 같은 대규모 데이터 환경에서 순차적 및 병렬 좌표강하 방법(PCDM)에 비해 이론적이고 실증적인 속도 향상을 달성한다.

ABSTRACT

We propose a parallel stochastic Newton method (PSN) for minimizing unconstrained smooth convex functions. We analyze the method in the strongly convex case, and give conditions under which acceleration can be expected when compared to its serial counterpart. We show how PSN can be applied to the empirical risk minimization problem, and demonstrate the practical efficiency of the method through numerical experiments and models of simple matrix classes.

연구 동기 및 목표

• 대규모 데이터에서 고전적 이차 방법의 비효율성을 해결하기 위해 곡률 정보를 유지하면서도 확장성 있고 병렬 처리가 가능한 알고리즘을 설계한다.
• 뉴턴 방법에서 전체 헤시안 역행렬 계산의 계산 병목 현상을 해결하기 위해 랜덤으로 선택된 겹치는 부분 행렬 근사치를 사용한다.
• 강한 볼록성과 매끄러움 조건을 가정할 때 병렬 확률적 뉴턴 방법의 이론적 수렴 보장을 제공한다.
• 이론과 실증 양면에서 기존 방법, 특히 병렬 좌표강하 방법(PCDM)에 비해 뛰어난 성능을 보임을 입증한다.
• 이중 재구성 기반으로 PSN를 경험적 리스크 최소화(ERM) 문제에 확장하고 릿지 회귀와 같은 통계 모델에 적용한다.

제안 방법

• 곡률 정보를 활용하기 위해 겹치는 블록을 샘플링하는 병렬 확률적 뉴턴 방법(PSN)을 제안한다.
• 색인 집합 $ S_k $ 의 랜덤 샘플링을 통해 부분 행렬 $ \mathbf{X}_{S_k} $ 를 구성함으로써 다중 블록 간 병렬 업데이트를 가능하게 한다.
• ERM 문제의 이중 형식을 사용하여 PSN를 직접 적용할 수 있는 이중 목표 함수를 유도하며, $ \alpha $-업데이트는 이중 기울기와 헤시안 근사치에 기반한다.
• 원-이중 업데이트를 수행한다: 먼저 $ w^k = \nabla g^*(\bar{\alpha}_k) $ 를 계산하고, 그 다음에 $ h^{k_j} = \arg\min_h \langle I_{S_j^k}\mathbf{A}^\top w^k, h \rangle + \frac{1}{2}\langle h, \mathbf{X}_{S_j^k} h \rangle + \sum_{i\in S_j^k} \nabla\psi_i(\alpha_i^k) h_i $ 를 풀어 해를 구한다.
• 다양한 부분 문제 해를 평균화하여 조합한다: $ \alpha^{k+1} = \alpha^k + \frac{1}{b} \sum_{j=1}^c h^{k_j} $, 이중 평균을 $ \bar{\alpha}^{k+1} $ 에 적용한다.
• 헤시안 근사 행렬 $ \mathbf{X} $ 는 $ \frac{1}{\lambda n^2}\mathbf{A}^\top\mathbf{A} + \frac{\mathbf{D}(\gamma)^{-1}}{n} $ 으로 정의되며, 데이터와 정규화 항의 곡률을 통합한다.

실험 결과

연구 질문

• RQ1 강한 볼록 최적화에서 병렬 확률적 뉴턴 방법이 순차적 대비 이론적 가속을 달성할 수 있는가?
• RQ2 헤시안 블록의 겹치는 비고정 샘플링 방식이 고정된 비겹치는 블록과 비교해 수렴에 어떤 영향을 미치는가?
• RQ3 PSN가 수렴 속도와 실용적 효율성 측면에서 병렬 좌표강하 방법(PCDM)을 초월하는 설정은 무엇인가?
• RQ4 대규모 최적화 문제에서 PSN가 가속을 달성할 수 있는 이론적 조건은 무엇인가?
• RQ5 PSN 프레임워크는 매끄럽고 강하게 볼록인 목표 함수를 가진 경험적 리스크 최소화(ERM) 문제에 어떻게 적용될 수 있는가?

주요 결과

• 강한 볼록성 조건 하에서 PSN는 선형 수렴 속도를 보이며, 이 수렴 속도는 헤시안 근사 행렬 $ \mathbf{X} $ 의 스펙트럼 성질에 의존한다.
• 병렬 처리 덕분에 순차적 확률적 뉴턴 방법에 비해 가속 효과를 보이며, 특히 $ \rho $-행렬과 $ \alpha $-삼중대각 행렬과 같은 특수한 행렬 클래스에서 확인된다.
• $ \rho $-행렬의 경우, 샘플링 분포가 적절히 선택될 경우 PCDM를 능가하는 수렴 속도를 달성한다.
• 수치 실험에서 PSN는 고차원 설정에서 수렴 속도와 최종 목표 함수 값 측면에서 PCDM를 모두 능가한다.
• ERM의 이중 형식화 덕분에 PSN를 직접 적용할 수 있으며, 주요 정리에서 $ \mathbf{M} \leftarrow \mathbf{X} $ 를 대입함으로써 수렴 보장을 이전할 수 있다.
• 저자들은 이전 연구 [12]에서 유도된 이중 갭 한계가 PSN에도 성립할 것이라 추측하지만, 엄밀한 증명은 향후 연구 과제로 남긴다.