[논문 리뷰] R-SPIDER: A Fast Riemannian Stochastic Optimization Algorithm with Curvature Independent Rate

Jingzhao Zhang, Hongyi Zhang외 1명|arXiv (Cornell University)|2018. 11. 10.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 26

한 줄 요약

이 논문은 리만 다양체 위에서 비볼록 및 강볼록 문제에 대해 곡률에 의존하지 않는 수렴 속도를 달성하는 리만 스토하스틱 최적화 알고리즘인 R-SPIDER를 소개한다. SPIDER 분산 감소 프레임워크를 리만 기하학에 적응시킴으로써, 유한한 반복값에 대한 가정이 필요 없으며, 유한합 및 스토하스틱 설정 모두에서 이전 방법보다 더 빠른 수렴 속도를 달성한다. 곡률 의존성이 없이 유클리드 최적 수렴 속도를 달성한다.

ABSTRACT

We study smooth stochastic optimization problems on Riemannian manifolds. Via adapting the recently proposed SPIDER algorithm \citep{fang2018spider} (a variance reduced stochastic method) to Riemannian manifold, we can achieve faster rate than known algorithms in both the finite sum and stochastic settings. Unlike previous works, by \emph{not} resorting to bounding iterate distances, our analysis yields curvature independent convergence rates for both the nonconvex and strongly convex cases.

연구 동기 및 목표

• 이전 방법이 유한한 반복값을 요구하거나 곡률에 의존하는 분석을 필요로 하는 제한을 극복하는 빠르고 분산 감소 기반의 리만 스토하스틱 최적화 알고리즘을 개발하는 것.
• 지오데식 스피드가 보장되는 비볼록 및 강볼록 문제에 대해 리만 다양체 위에서 유한합 및 스토하스틱 설정 모두에서 최적의 수렴 속도를 달성하는 것.
• 수렴 보장을 다양체의 지름과 단면 곡률에 의존하지 않도록 제거하여, 비유한 다양체에 더 넓은 적용 가능성을 제공하는 것.
• 특히 기울기 지배 및 강볼록 문제에 대해 리만 설정에서 기존의 최고 수준의 반복 및 오라클 복잡도 한계를 극복하거나 향상시키는 것.

제안 방법

• 기하학적 일관성을 유지하기 위해 리만 재구성과 벡터 운반을 사용하여 유클리드 SPIDER 알고리즘을 리만 다양체에 적응시킴.
• 연속적인 반복값 간의 거리에 기반하여 적응적인 샘플 크기를 사용하는 분산 감소 메커니즘을 적용함.
• 기울기 지배 및 강볼록 문제에 각각 최적화된 두 가지 변형인 R-SPIDER-GD1과 R-SPIDER-GD2를 도입하며, 동적 스텝 사이즈 및 샘플 크기 스케줄링을 적용함.
• 반복값을 다양체 위에 유지하기 위해 리만 지수 및 로그 매핑을 사용하여 재구성 및 역재구성 방식으로 반복값을 갱신함.
• 반복값 간의 거리를 유한하게 제한하지 않는 새로운 접근 방식을 사용하여, 수렴 분석에서 곡률 의존 항목을 제거함.
• 병렬 운반을 통해 전체 및 스토하스틱 기울기를 조합하는 재귀적 기울기 추정 전략을 사용하여 분산을 효율적으로 감소시킴.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 분산 감소 기반 스토하스틱 최적화가 다양체의 곡률과 지름에 의존하지 않는 수렴 속도를 달성할 수 있는가?
• RQ2 SPIDER 알고리즘을 리만 기하학에 적응시킬 경우, 비볼록 설정에서 리만 스토하스틱 기울기 하강법보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 리만 다양체 위에서 유한합 및 스토하스틱 최적화 문제 모두에 대해 곡률에 의존하지 않는 속도를 달성할 수 있는가?
• RQ4 기울기 지배 및 강볼록 문제에 대해 제안된 알고리즘이 오라클 복잡도 및 샘플 크기 요구 조건 측면에서 어떻게 비교되는가?
• RQ5 실용적인 리만 스토하스틱 알고리즘을 설계할 수 있으며, 기존 방법보다 향상된 이론적 보장과 실증 성능을 제공할 수 있는가?

주요 결과

• 비볼록 유한합 문제에 대해 R-SPIDER는 $\mathcal{O}(n + \frac{n^{1/2}}{\epsilon^2})$의 IFO 복잡도를 달성하며, 이는 이전 최고 수준의 $\mathcal{O}(n + \frac{n^{2/3}\zeta^{1/2}}{\epsilon^2})$보다 향상된 결과이다.
• 비볼록 스토하스틱 문제에 대해 R-SPIDER는 $\mathcal{O}(\frac{1}{\epsilon^3})$의 수렴 속도를 확보하며, 이는 이전 최고 수준의 $\mathcal{O}(\frac{1}{\epsilon^4})$를 초월한다.
• 강볼록 유한합 케이스에서 R-SPIDER-GD1은 $\mathcal{O}((n + \kappa n^{1/2})\log(\frac{1}{\epsilon}))$의 오라클 복잡도를 달성하고, R-SPIDER-GD2는 $\mathcal{O}((n + \kappa^2)\log(\frac{1}{\epsilon}))$를 달성하며, 모두 이전의 복잡도 한계를 향상시킨다.
• 수렴 분석이 곡률에 의존하지 않아, 모든 반복값이 다양체의 컴팩트 부분집합 내에 존재한다는 가정이 필요 없어진다.
• 제안된 알고리즘은 유클리드 설정에서 알려진 하한값과 일치하여, 특히 유한합 케이스에서 샘플 복잡도 측면에서 최적성을 입증한다.
• 최소한의 가정 하에 이론적 보장을 확보하였으며, 반복값의 유한성이나 곡률의 경계 조건이 필요 없어 실용성과 이론적 강건성이 향상된다.