[논문 리뷰] Frank-Wolfe with Subsampling Oracle

Thomas Kerdreux, Fabián Pedregosa외 1명|arXiv (Cornell University)|2018. 03. 20.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 전체 선형 최소화 오라클을 부분 샘플링된 오라클로 대체하는 두 가지 랜덤화된 Frank-Wolfe 변종을 제안하며, 결정론적 대안과 동일한 수렴 속도를 달성한다: 표준 Frank-Wolfe의 경우 하향 수렴, Away-step Frank-Wolfe의 경우 선형 수렴. 이 방법은 원자들을 샘플링하여 반복마다 계산 비용을 줄여주며, 이론적 보장을 유지하면서 대규모 또는 스트리밍 환경에서 더 빠른 수렴을 가능하게 한다.

ABSTRACT

We analyze two novel randomized variants of the Frank-Wolfe (FW) or conditional gradient algorithm. While classical FW algorithms require solving a linear minimization problem over the domain at each iteration, the proposed method only requires to solve a linear minimization problem over a small \\emph{subset} of the original domain. The first algorithm that we propose is a randomized variant of the original FW algorithm and achieves a $\\mathcal{O}(1/t)$ sublinear convergence rate as in the deterministic counterpart. The second algorithm is a randomized variant of the Away-step FW algorithm, and again as its deterministic counterpart, reaches linear (i.e., exponential) convergence rate making it the first provably convergent randomized variant of Away-step FW. In both cases, while subsampling reduces the convergence rate by a constant factor, the linear minimization step can be a fraction of the cost of that of the deterministic versions, especially when the data is streamed. We illustrate computational gains of the algorithms on regression problems, involving both $\\ell_1$ and latent group lasso penalties.

연구 동기 및 목표

• 대규모 또는 스트리밍 문제에서 Frank-Wolfe 알고리즘의 전체 선형 최소화 오라클로 인한 높은 계산 비용을 해결하기 위해.
• 각 반복에서 원자들의 랜덤 부분집합만을 사용하여 계산 오버헤드를 줄이는 랜덤화된 Frank-Wolfe 알고리즘을 개발하기 위해.
• Away-step Frank-Wolfe 알고리즘에 이 접근법을 확장하여 오라클 비용을 줄이면서도 선형 수렴을 유지하기 위해.
• 부분 샘플링 하에 두 랜덤화된 변종의 수렴 행동을 이론적으로 분석하여, 결정론적 대안과 상수 인자 수준까지 동일한 수렴 속도를 확보하기 위해.
• ℓ₁ 및 잠재 그룹 라소 페널티를 가진 회귀 문제에서 랜덤화된 방법이 결정론적 방법보다 실용적으로 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 반복에서 원자들의 균일한 랜덤 부분집합 위에서 선형 최소화 오라클을 계산하는 랜덤화된 Frank-Wolfe(RFW) 알고리즘을 제안한다.
• Away-step 변종에 대해 부분 샘플링을 적용하여 선형 수렴을 유지하는 랜덤화된 Away-step Frank-Wolfe(RAFW) 알고리즘을 도입한다.
• 곡률 상수 기반 분석을 통해 기대 하위최적성 갭을 경계하여, 부분 샘플링이 수렴 속도에 상수 인자 이내로만 영향을 미친다는 것을 보여준다.
• 일부 이전의 오차 내성 분석과 달리, 부분 샘플링 오차가 시간이 지남에 따라 감소할 필요가 없다는 것을 보장한다.
• 부분 샘플링 오라클의 기대 기울기가 전체 기울기와 일치한다는 사실을 활용하여, 유효한 수렴 증명이 가능하다.
• 반복적 잔여항 추적과 적응형 스텝 사이즈를 구현하여, 랜덤화 상태에서도 수렴 성질을 유지한다.

실험 결과

연구 질문

• RQ1 부분 샘플링된 선형 최소화 오라클을 사용하는 랜덤화된 Frank-Wolfe 변종이 결정론적 Frank-Wolfe 알고리즘과 동일한 하향 수렴 속도를 달성할 수 있는가?
• RQ2 Away-step Frank-Wolfe 알고리즘의 랜덤화된 변종은 선형 수렴을 유지할 수 있으며, 만약 그렇다면 어떤 조건에서 가능한가?
• RQ3 선형 최소화 오라클을 부분 샘플링하면 계산 비용이 감소하지만, 수렴 속도는 상수 인자 이내로만 저하되는가?
• RQ4 실제로 랜덤화된 알고리즘은 대규모 또는 스트리밍 데이터에서 결정론적 대안과 비교해 어떻게 성능을 발휘하는가?
• RQ5 랜덤화된 Frank-Wolfe의 이론적 수렴 보장은 다각형 도메인을 초월하거나 더 일반적인 제약 집합으로 확장될 수 있는가?

주요 결과

• 랜덤화된 Frank-Wolfe(RFW) 알고리즘은 기대값 기준으로 O(1/t) 하향 수렴 속도를 달성하며, 부분 샘플링 비율에 따라 상수 인자 수준까지 결정론적 Frank-Wolfe 알고리즘과 동일하다.
• 랜덤화된 Away-step Frank-Wolfe(RAFW) 알고리즘은 다각형에서 선형(지수적) 수렴을 달성하여, Away-step 방법의 첫 번째 증명 가능하게 수렴하는 랜덤화된 변종이 되었다.
• 부분 샘플링으로 인한 반복 수 증가(표본 추출률에 따라 RFW는 해당 요소 수준, RAFW는 제곱 수준)에도 불구하고, 수치 실험 결과 랜덤화된 변종이 종종 결정론적 대안보다 실질적으로 뛰어난 성능을 보였다.
• 부분 샘플링 오차가 시간이 지남에 따라 감소할 필요가 없어, 데이터가 뭉치 단위로 처리되는 스트리밍 환경에서도 안정적이고 효율적인 계산이 가능하다.
• ℓ₁-정규화 및 잠재 그룹 라소 회귀 문제에서, 원자 집합이 클 경우 반복당 선형 최소화 비용이 저렴해져서 랜덤화된 알고리즘이 상당한 계산 속도 향상을 달성했다.
• 논문은 Frandi 등(2016)의 이전 분석에서 결함을 밝혀내었으며, 그들의 수렴 경계는 증명 과정에서 조건부 기대값을 잘못 다루었기 때문에 유효하지 않다는 것을 보였다.