[논문 리뷰] Finito: A Faster, Permutable Incremental Gradient Method for Big Data Problems

Aaron Defazio, Tibério S. Caetano외 1명|arXiv (Cornell University)|2014. 07. 10.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 101

한 줄 요약

Finito는 많은 항을 가진 문제에서 기존 방법보다 이론적 수렴 속도가 4배 빠른, 대규모 유한합을 최소화하기 위한 새로운 점진적 경사 하강 방법을 제안한다. 표본 추출 시 다시 넣지 않는 방식을 활용함으로써 실용적 성능까지 향상시켜, 실험 평가에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Recent advances in optimization theory have shown that smooth strongly convex finite sums can be minimized faster than by treating them as a black box "batch" problem. In this work we introduce a new method in this class with a theoretical convergence rate four times faster than ex-isting methods, for sums with sufficiently many terms. This method is also amendable to a sampling without replacement scheme that in practice gives further speed-ups. We give empirical results showing state of the art performance.

연구 동기 및 목표

• 빅데이터 응용에서 흔한 대규모 유한합 문제를 위한 더 빠른 최적화 방법을 개발하기 위해.
• 문제의 구조를 활용하여 전통적인 배치 방법을 초월해 수렴 속도를 향상시키기 위해.
• 향상된 실용적 성능를 위해 표본 추출 시 다시 넣지 않는 방식을 지원하는 방법을 설계하기 위해.
• 기존 점진적 경사 하강 방법들보다 이론적 및 실증적 우수성을 달성하기 위해.

제안 방법

• Finito는 부드럽고 강하게 볼록한 유한합에 특화된 새로운 점진적 경사 하강 알고리즘을 도입한다.
• 기본 가정 하에 기존 방법들보다 이론적 수렴 속도가 4배 빠르다.
• 표본 추출 시 다시 넣지 않는 방식을 지원하여 실용적 수렴 속도를 향상시킨다.
• 데이터를 점진적으로 처리하면서도 빠른 수렴을 유지하기 위해 분산 감소 접근법을 사용한다.
• 알고리즘은 순열 가능하도록 설계되어, 성능 향상을 위한 효율적인 데이터 재정렬이 가능하다.
• 유한합을 블랙박스 배치 문제로 보는 대신, 구조화된 문제로 간주한다.

실험 결과

연구 질문

• RQ1 대규모 유한합 문제에 대해 현저히 빠른 수렴 속도를 달성할 수 있는 새로운 점진적 경사 하강 방법을 설계할 수 있는가?
• RQ2 실제로 표본 추출 시 다시 넣지 않는 방식이 점진적 경사 하강 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 이론적 수렴 속도 향상이 실용적 성능 향상으로 이어질 수 있는가?
• RQ4 부드럽고 강하게 볼록한 유한합 문제에 대해 수렴 속도의 이론적 한계는 무엇인가?
• RQ5 empirical 벤치마크에서 Finito는 최신 기술 수준의 방법들과 비교해 어떻게 성과를 내는가?

주요 결과

• 충분히 많은 항을 가진 문제에서 Finito는 기존 점진적 경사 하강 방법들보다 이론적 수렴 속도가 4배 빠르다.
• 대규모 데이터 문제에서 Finito는 최신 기술 수준의 실증 성능을 보여준다.
• 표본 추출 시 다시 넣지 않는 방식은 실생활에서 측정 가능한 속도 향상을 제공하여 이론적 한계를 초월한 수렴을 향상시킨다.
• 알고리즘은 유한합의 구조를 활용하여 배치 문제로 간주하지 않고 수렴 속도를 유지한다.
• 실증 결과는 Finito가 속도와 수렴 속도 양면에서 기존 방법들을 능가함을 확인한다.