[논문 리뷰] Online Variance Reduction for Stochastic Optimization

Zalán Borsos, Andreas Krause외 1명|arXiv (Cornell University)|2018. 02. 13.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 6

한 줄 요약

이 논문은 데이터 포인트, 좌표 또는 블록에 대해 중요도 샘플링 분포를 적응적으로 학습하는 데 Follow-the-Regularized-Leader (FTRL) 접근 방식을 사용하는 스토하스틱 최적화를 위한 새로운 온라인 분산 감소 방법을 제안한다. 이전의 작업이 선형화 기법에 의존하는 것과는 달리, 이는 뒤이어 고정된 분포에 대해 $\tilde{\mathcal{O}}(n^{1/3}T^{2/3})$의 리그레트를 달성하며, 더 강력한 이론적 보장을 제공하고, 균일 샘플링 및 이전의 적응형 샘플링 방법보다 경험적으로 뛰어나다.

ABSTRACT

Modern stochastic optimization methods often rely on uniform sampling which is agnostic to the underlying characteristics of the data. This might degrade the convergence by yielding estimates that suffer from a high variance. A possible remedy is to employ non-uniform importance sampling techniques, which take the structure of the dataset into account. In this work, we investigate a recently proposed setting which poses variance reduction as an online optimization problem with bandit feedback. We devise a novel and efficient algorithm for this setting that finds a sequence of importance sampling distributions competitive with the best fixed distribution in hindsight, the first result of this kind. While we present our method for sampling datapoints, it naturally extends to selecting coordinates or even blocks of thereof. Empirical validations underline the benefits of our method in several settings.

연구 동기 및 목표

• 균일 샘플링이 데이터 구조를 忽시하는 데 기인한 고분산 경사도 추정 문제를 해결하기 위해.
• 밴딧 피드백을 통해 누적 분산을 최소화하기 위해 중요도 샘플링 분포를 적응적으로 선택하는 온라인 학습 프레임워크를 개발하기 위해.
• 이전 방법의 한계를 극복하기 위해, 뒤이어 고정된 분포에 대해 리그레트 보장을 제공하기 위해.
• 최적화 알고리즘에서 데이터 포인트 선택을 초월해 좌표 및 블록 선택으로 이 방법을 확장하기 위해.
• 실제 설정에서 분산 감소 및 수렴 속도 향상 측면에서 이론적 효과를 경험적으로 검증하기 위해.

제안 방법

• 선형화 기법에 의존하지 않고, 정규화된 누적 손실을 직접 최적화하기 위해 Follow-the-Regularized-Leader (FTRL) 프레임워크를 사용한다.
• 전체 경사도가 아닌, 샘플된 경사도의 분산만 관측되는 밴딧 피드백 메커니즘을 설계한다.
• 역사적 경사도 노름에 기반해 탐색과 이용의 균형을 이루는 정규화된 샘플링 분포를 도입한다.
• 부분 피드백 하에서 유계가 아닌 비용 함수를 다루기 위해, 농도 부등식과 사건 조건화를 사용하는 새로운 분석 기법을 개발한다.
• 정규화 파rameter로 스케일링된 추정된 누적 경사도 노름의 역수에 기반한 샘플링 규칙을 유도한다.
• 각 좌표 또는 블록을 별개의 샘플링 단위로 간주함으로써, 좌표 및 블록 선택으로 이 방법을 확장한다.

실험 결과

연구 질문

• RQ1 온라인 분산 감소는 증명 가능한 리그레트 보장을 갖는 밴딧 학습 문제로 공식화될 수 있는가?
• RQ2 선형화되지 않은, 비선형적인 FTRL 기반 알고리즘이 EXP3와 같은 선형화된 접근 방식보다 더 나은 리그레트 한계를 달성할 수 있는가?
• RQ3 제안된 방법은 수렴 속도 및 분산 감소 측면에서 균일 샘플링 및 이전의 적응형 샘플링 기법보다 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 최적화에서 좌표 및 블록 선택으로 자연스럽게 확장될 수 있는가?
• RQ5 제안된 알고리즘의, 뒤이어 고정된 분포에 대해 최적의 분포를 기준으로 한 이론적 리그레트 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 뒤이어 고정된 중요도 샘플링 분포에 대해 $\tilde{\mathcal{O}}(n^{1/3}T^{2/3})$의 리그레트 한계를 달성한다.
• 다양한 머신러닝 벤치마크에서 균일 샘플링 및 이전의 적응형 방법보다 경사도 분산 감소 측면에서 뛰어나게 성능을 발휘한다.
• 밴딧 피드백 하에서 유계가 아닌 비용 함수를 다룰 수 있는 이론적 분석이 성공적으로 수행되었으며, 이는 이전 작업에서 다루지 못한 핵심적인 기술적 과제이다.
• SGD 및 좌표 강하 설정에서 최신 기술 대비 더 빠르게 수렴하고 분산이 낮은 것으로 경험적으로 검증되었다.
• 좌표 강하 및 블록 반복 해법에서 분산 감소를 가능하게 하기 위해 좌표 및 블록 선택으로 일반화 가능하다.
• 소스 코드가 공개되어 있어 재현성 향상 및 기존 최적화 파ip라인에의 통합을 용이하게 한다.