[논문 리뷰] Doubly Stochastic Primal-Dual Coordinate Method for Empirical Risk Minimization and Bilinear Saddle-Point Problem

Adams Wei Yu, Qihang Lin외 1명|arXiv (Cornell University)|2015. 08. 14.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 8

한 줄 요약

이 논문은 경험적 리스크 최소화 문제를 이중 선형 사다리꼴 문제로 재정의함으로써, 이중 스토하스틱 프리미얼-듀얼 좌표(DSPDC) 방법을 제안한다. 각 반복에서 원천 및 이중 변수의 블록을 무작위로 샘플링함으로써, 데이터가 인수분해 가능한 구조를 지니거나 프록시 매핑이 비용이 많이 들 경우, 기존 방법보다 더 낮은 반복 복잡도를 달성하며, 목적 함수 갭과 최적해로부터의 거리 양면에서 수렴성이 증명된다.

ABSTRACT

We proposed a doubly stochastic primal-dual coordinate (DSPDC) optimization algorithm for empirical risk minimization, which can be formulated as a bilinear saddle-point problem. In each iteration, our method randomly samples a block of coordinates of the primal and dual solutions to update. The convergence of our method is established in both the distance from the current iterate to the optimal solution and the primal-dual objective gap. We show that the proposed method has a lower overall complexity than existing coordinate methods when either the data matrix has a factorized structure or the proximal mapping on each block is computationally expensive, e.g., involves an eigenvalue decomposition. Furthermore, we give a theoretical lower bound on the iteration complexity of a general family of primal-dual (block) coordinate methods for bilinear saddle-point problems, which also includes DSPDC.

연구 동기 및 목표

• 대규모 데이터에 대해 잘 스케일링되는 효율적인 최적화 방법을 개발하는 것.
• 특히 고유값 분해와 같은 비용이 많이 드는 연산이 필요한 경우, 블록 좌표 방법에서 프록시 매핑의 높은 계산 비용을 해결하는 것.
• 데이터의 구조나 비용이 많이 드는 프록시 연산을 활용하여, 기존의 좌표 방법 대비 전체 반복 복잡도를 낮추는 것.
• 기본-이중 목적 함수 갭과 최적해로부터의 거리 양면에서 이론적 수렴 보장을 확립하는 것.

제안 방법

• 논문은 경험적 리스크 최소화 문제를 원천 및 이중 변수를 포함하는 이중선형 사다리꼴 문제로 재구성한다.
• 각 반복에서 원천 및 이중 좌표의 블록을 무작위로 선택하여 업데이트함으로써, 대규모 계산을 효율적으로 수행할 수 있도록 한다.
• 사다리꼴 문제의 구조에 따라 유도된 블록 좌표 강하 방식을 원천 및 이중 변수에 적용한다.
• 반복당 비용을 줄이기 위해 좌표 블록의 무작위 샘플링을 사용하며, 약한 가정 하에 수렴성을 유지한다.
• 계산이 가능할 경우 각 블록에 대해 프록시 매핑을 통합하며, 이를 효율적으로 업데이트한다.
• 수렴 분석은 기본-이중 목적 함수 갭과 현재 반복점이 최적해로부터 떨어진 거리 양면에서 수행된다.

실험 결과

연구 질문

• RQ1 이중 스토하스틱 프리미얼-듀얼 좌표 방법은 기존 방법보다 경험적 리스크 최소화 문제에 대해 더 낮은 반복 복잡도를 달성할 수 있는가?
• RQ2 데이터 행렬이 인수분해 가능한 구조를 지닐 경우, 이 방법은 어떻게 성능을 발휘하는가?
• RQ3 일반적인 기본-이중 블록 좌표 방법의 가족에 대해 반복 복잡도의 이론적 하한은 무엇인가?
• RQ4 블록에 대한 프록시 매핑이 계산적으로 비용이 많이 들 경우, 이 방법은 여전히 수렴성을 유지하는가?
• RQ5 스토하스틱 블록 샘플링 전략은 수렴 속도와 전체 복잡도에 어떤 영향을 미치는가?

주요 결과

• 데이터 행렬이 인수분해 가능한 구조를 지닐 경우, DSPDC는 기존의 좌표 방법보다 더 낮은 전체 반복 복잡도를 달성한다.
• 프록시 매핑이 비용이 많이 드는 경우, 예를 들어 고유값 분해가 필요한 경우, 이 방법은 더 뛰어난 효율성을 보인다.
• 기본-이중 목적 함수 갭과 현재 반복점이 최적해로부터 떨어진 거리의 양면에서 수렴성이 확립된다.
• 일반적인 기본-이중 (블록) 좌표 방법의 클래스에 대해 반복 복잡도의 이론적 하한이 유도되었다.
• 이 방법은 블록 단위의 프록시 연산이 비용이 많이 들거나 데이터가 저랭크 구조를 지닐 경우 특히 유리하다.