[논문 리뷰] Stochastic Frank-Wolfe for Composite Convex Minimization

Francesco Locatello, Alp Yurtsever외 2명|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|2019. 01. 29.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 애핀 제약 조건 하에서 복합 볼록 최소화를 위한 최초의 스토하스틱 프랭크-울프 방법을 제안한다. 선형 최소화 오라클(lmo)을 활용하여 비용이 많이 드는 투영을 피한다. 목적 함수 잔여항에 대해 $Ó(k^{-1/3})$ 수렴 속도와 타당성 간격에 대해 $Ó(k^{-5/12})$ 수렴 속도를 달성하여 기계 학습 및 공학 분야에서 스트리밍 반도체 프로그래밍을 위한 확장 가능한 해법을 가능하게 한다.

ABSTRACT

A broad class of convex optimization problems can be formulated as a semidefinite program (SDP), minimization of a convex function over the positive-semidefinite cone subject to some affine constraints. The majority of classical SDP solvers are designed for the deterministic setting where problem data is readily available. In this setting, generalized conditional gradient methods (aka Frank-Wolfe-type methods) provide scalable solutions by leveraging the so-called linear minimization oracle instead of the projection onto the semidefinite cone. Most problems in machine learning and modern engineering applications, however, contain some degree of stochasticity. In this work, we propose the first conditional-gradient-type method for solving stochastic optimization problems under affine constraints. Our method guarantees $\mathcal{O}(k^{-1/3})$ convergence rate in expectation on the objective residual and $\mathcal{O}(k^{-5/12})$ on the feasibility gap.

연구 동기 및 목표

• 애핀 제약 조건이 있는 스토하스틱 복합 볼록 최적화를 위한 조건부-그레디언트 방법의 부족을 보완한다.
• 전체 데이터 접근이 불가능한 경우에도 확장 가능한 해법을 제공하기 위해 스토하스틱 반도체 프로그래밍(SDPs)을 해결한다.
• 반도체 콘에 대한 투영의 계산적 장벽을 해결하기 위해 선형 최소화 오라클(lmo)을 사용한다.
• 스토하스틱성과 애핀 제약 조건이 존재하는 상황에서 리프쉐츠 연속성과 지표 함수 유형의 정규화 항에 대한 수렴 보장을 제공한다.
• 기존의 프랭크-울프 방법과 기계 학습 분야의 현대적 스토하스틱, 제약 조건이 있는 최적화 문제 간 격차를 메운다.

제안 방법

• 가능성 집합 $\mathcal{X}$에 대해 투영 단계를 선형 최소화 오라클(lmo)으로 대체하는 스토하스틱 프랭크-울프 변형을 제안한다.
• 애핀 제약 조건이 존재할 경우 lmo를 처리하기 위해 스무딩 기법을 사용하여 해석 가능한 부분문제로 변환한다.
• 비연속 항 $g(Ax)$를 위한 프록시미티 유사 스무딩 체계를 도입하여 근사 lmo의 효율적 계산을 가능하게 한다.
• 수렴과 정확성의 균형을 이루기 위해 적응형 단계 크기 $\eta_k = \frac{9}{\delta(k-1)+9}$ 와 스무딩 파라미터 $\beta_k = \frac{\beta_0}{\sqrt{\delta(k-1)+9}}$ 를 사용한다.
• 라그랑주 안정점 이론과 이차 부등식 해법을 활용하여 타당성 간격과 목적 함수 잔여항에 대한 경계를 유도한다.
• 무작위 샘플링 하에서 수렴을 유지하면서 $f(x,\omega)$의 스토하스틱 기울기 추정치를 사용해 반복값을 갱신한다.

실험 결과

연구 질문

• RQ1 애핀 제약 조건이 있는 스토하스틱 복합 볼록 최적화를 위한 조건부-그레디언트 유형의 방법을 설계할 수 있는가?
• RQ2 스토하스틱 환경에서 목적 함수 잔여항과 타당성 간격에 대해 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 애핀 제약 조건으로 인해 계산이 어려워질 경우 lmo는 어떻게 효율적으로 계산할 수 있는가?
• RQ4 비연속 또는 제약 조건이 존재하는 상황에서 스무딩 기법을 사용해 lmo를 해석 가능하게 만들 수 있는가?
• RQ5 수렴성과 계산 비용 측면에서 제안된 방법은 투영 기반 방법과 어떻게 비교되는가?

주요 결과

• 함수 $g$가 $L_g$-리프쉐츠 연속일 경우, 기대 목적 함수 잔여항에 대해 $\mathcal{O}(k^{-1/3})$ 수렴 속도를 달성한다.
• 함수 $g$가 볼록 집합 $\mathcal{K}$의 지표 함수일 경우, 목적 함수 잔여항에 대해 $\mathcal{O}(k^{-1/3})$ 수렴 속도와 타당성 간격에 대해 $\mathcal{O}(k^{-5/12})$ 수렴 속도를 달성한다.
• 반도체 콘에 대한 비용이 많이 드는 투영을 피하기 위해 lmo에 의존함으로써 효율적으로 계산할 수 있다.
• 스무딩을 통해 애핀 제약 조건이 존재하더라도 lmo를 해석 가능하게 만들었으며, 이는 무작위 부분공간 반복 또는 거듭제곱 방법의 사용을 가능하게 한다.
• 실험 결과는 이론적 수렴 속도를 검증하고, 확장성과 런타임 측면에서 투영 기반 알고리즘에 비해 우수한 성능을 보여준다.
• 이 방법은 스트리밍 주성분 분석, 온라인 클러스터링, 커널 학습 등에서 각 반복마다 부분 데이터만 이용 가능한 스토하스틱 SDP에 적용 가능하다.