[논문 리뷰] MISO is Making a Comeback With Better Proofs and Rates

Xun Qian, Alibek Sailanbayev외 2명|arXiv (Cornell University)|2019. 06. 04.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 부드러움 상수만 필요하고 추가 파rameter가 없는 새로운 변종을 도입함으로써 MISO 알고리즘을 부활시킨다. 이로 인해 강凸성 가정 없이 수렴 보장을 확보할 수 있으며, 볼록 및 비볼록 문제에서 선형 수렴을 달성하고, 최초로 선형 속도 향상이 보장되는 미니배치 MISO를 제공한다. 실제 데이터셋에서 SAGA와 SVRG를 능가하며, 향상된 이론적 분석과 실용적 효율성으로 인해 성능이 향상된다.

ABSTRACT

MISO, also known as Finito, was one of the first stochastic variance reduced methods discovered, yet its popularity is fairly low. Its initial analysis was significantly limited by the so-called Big Data assumption. Although the assumption was lifted in subsequent work using negative momentum, this introduced a new parameter and required knowledge of strong convexity and smoothness constants, which is rarely possible in practice. We rehabilitate the method by introducing a new variant that needs only smoothness constant and does not have any extra parameters. Furthermore, when removing the strong convexity constant from the stepsize, we present a new analysis of the method, which no longer uses the assumption that every component is strongly convex. This allows us to also obtain so far unknown nonconvex convergence of MISO. To make the proposed method efficient in practice, we derive minibatching bounds with arbitrary uniform sampling that lead to linear speedup when the expected minibatch size is in a certain range. Our numerical experiments show that MISO is a serious competitor to SAGA and SVRG and sometimes outperforms them on real datasets.

연구 동기 및 목표

• MISO의 제한된 보급과 이론적 제약을 해결하기 위해, 초기의 스트로스틱 분산 감소 방법인 MISO를 다루기 위해.
• MISO의 스텝사이즈에서 강凸성 상수와 추가 파rameter의 필요성을 제거하여 실용성을 향상시키기 위해.
• 분석에서 강凸성 가정을 제거함으로써 비볼록 문제에 대한 수렴을 확립하기 위해.
• 임의의 균일 샘플링을 사용하는 최초의 미니배치 MISO 변종을 개발하고, 증명 가능한 선형 속도 향상을 달성하기 위해.

제안 방법

• 강凸성 상수의 필요성을 제거하고 부드러움 상수 L만 사용하는 새로운 MISO 변종을 제안한다.
• 빅 데이터 가정을 피하고 모든 성분이 강凸성이 있어야 한다는 조건이 필요 없는 새로운 수렴 분석을 도입한다.
• 임의의 균일 샘플링 하에서의 미니배칭 경계를 유도하여, 기대 미니배치 크기가 특정 범위 내에 있을 경우 선형 속도 향상을 달성한다.
• 안정성과 수렴을 보장하기 위해 철저히 설계된 대체 함수와 업데이트 규칙을 사용하는 주요화-최소화(MM) 프레임워크를 활용한다.
• n/L 순서의 파rameter 없는 스텝사이즈를 사용하여 강건성과 실용성을 향상시킨다.
• 통합 분석 프레임워크를 사용하여 볼록, 강볼록, 비볼록 설정 모두에 대해 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 강凸성 상수에 의존하지 않고 더 단순한 파rameter 없는 변종을 통해 MISO를 부활시킬 수 있는가?
• RQ2 임의의 균일 샘플링을 사용하는 미니배치 MISO 변종이 실제로도 이론적으로 선형 속도 향상을 달성하는가?
• RQ3 MISO의 수렴 분석을 성분별 강凸성 가정 없이 비볼록 문제로 확장할 수 있는가?
• RQ4 제안된 MISO 변종에서 선형 속도 향상을 보장하는 최적의 미니배치 크기 범위는 무엇인가?
• RQ5 실제 세계 데이터셋에서 새로운 MISO 변종이 SAGA와 SVRG에 비해 실용적으로 어떻게 비교되는가?

주요 결과

• 제안된 MISO 변종은 강凸성 파ram터를 알 필요 없이 볼록 및 비볼록 문제에서 선형 수렴을 달성한다.
• 스텝사이즈가 n/L 순서이므로 추가 파ram터가 필요 없으며, 실용적 사용성 향상에 기여한다.
• 빅 데이터 가정을 제거하고 모든 성분이 강凸성이 있어야 한다는 조건이 필요 없는 새로운 이론적 분석이 도입된다.
• 임의의 균일 샘플링을 사용하는 최초의 미니배치 MISO 변종이 개발되었으며, 기대 미니배치 크기가 특정 범위에 있을 경우 선형 속도 향상을 달성한다.
• 수치 실험 결과, MISO는 실제 데이터셋에서 SAGA와 SVRG를 능가하거나 동등하게 성능을 내며 강력한 실용적 경쟁력을 입증한다.
• 기존 MISO 변종보다 수렴 속도가 유사하거나 향상되었으며, 특히 비볼록 영역에서 두드러진 성능 향상을 보인다.