[논문 리뷰] A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization

Vineet Gupta, Tomer Koren외 1명|arXiv (Cornell University)|2017. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 1인용 수 9

한 줄 요약

이 논문은 정규화와 경향성 기반의 적응형 알고리즘을 정규화와 기울기 역사 간의 균형을 맞추는 잠재함수 Φ를 사용하여, 정규화된 정규화 행렬 위에서의 따라하기-최적화(FTL) 방법으로서 적응형 알고리즘을 공식화함으로써 온라인 및 스토하스틱 최적화에서 적응형 정규화를 위한 통합 프레임워크를 제시한다. 이 접근법은 수렴 분석을 단순화하고, 다양한 Φ 선택에 따라 닫힌 형태의 해를 얻음으로써 기존의 잘 알려진 알고리즘인 AdaGrad와 온라인 뉴턴 스텝(ONS)을 회복하며, 최소한의 기술적 부담으로 깔끔한 리그레트 경계를 도출한다.

ABSTRACT

We describe a framework for deriving and analyzing online optimization algorithms that incorporate adaptive, data-dependent regularization, also termed preconditioning. Such algorithms have been proven useful in stochastic optimization by reshaping the gradients according to the geometry of the data. Our framework captures and unifies much of the existing literature on adaptive online methods, including the AdaGrad and Online Newton Step algorithms as well as their diagonal versions. As a result, we obtain new convergence proofs for these algorithms that are substantially simpler than previous analyses. Our framework also exposes the rationale for the different preconditioned updates used in common stochastic optimization methods.

연구 동기 및 목표

• 데이터 기반 정규화(예를 들어 전치행렬)를 사용하는 적응형 온라인 최적화 알고리즘의 분석을 통합하기 위해.
• AdaGrad와 ONS와 같은 적응형 방법을 유도하고 분석하기 위한 단일이고 체계적인 프레임워크를 제공하기 위해.
• 적응형 정규화를 정규화된 정규화 행렬 위에서의 따라하기-최적화(FTL) 문제로 재구성함으로써 수렴 증명을 단순화하기 위해.
• 기존의 적응형 알고리즘에서 사용되는 다양한 전치행렬의 이론적 배경을 명확히 하기 위해.
• 잠재함수의 체계적 선택을 통해 새로운 적응형 알고리즘을 도출할 수 있도록 하기 위해.

제안 방법

• 정규화된 정규화 행렬 H의 공간 위에서 따라하기-최적화(FTL) 알고리즘으로 적응형 정규화를 공식화한다.
• 정규화 행렬 H_t를 계산하기 위한 최소화 문제를 정의한다: min_{H≻0} {∑_{s=1}^t ‖g_s‖_H² + Φ(H)}.
• 다양한 잠재함수 Φ를 사용하여 기존 알고리즘을 회복한다: AdaGrad의 경우 Φ(H) = Tr(H⁻¹), ONS의 경우 Φ(H) = -log|H|.
• H를 대각행렬 또는 항등행렬의 스칼라 배수로 제약을 두어 대각형 및 스칼라 형태의 변형을 유도한다.
• 볼록 및 강볼록 설정 모두에 적용하여, FTL 분석을 통해 리그레트 경계를 도출한다.
• 미러 디센트와 쌍대성 기법을 사용하여 리그레트를 분석하며, 잠재함수의 구조와 행렬 노름의 특성을 활용한다.

실험 결과

연구 질문

• RQ1 AdaGrad와 ONS와 같은 적응형 온라인 최적화 알고리즘의 유도와 분석을 통합하는 단일 프레임워크는 어떻게 설계할 수 있는가?
• RQ2 잠재함수 Φ는 예측행렬 H_t의 구조를 결정하는 데 어떤 역할을 하는가?
• RQ3 왜 다른 적응형 알고리즘이 서로 다른 형태의 정규화를 사용하는가? 이는 체계화될 수 있는가?
• RQ4 적응형 방법의 수렴 분석은 통합된 FTL 기반 접근법을 통해 어떻게 단순화될 수 있는가?
• RQ5 행렬 공간을 제약(예: 대각형, 스칼라)하는 것이 실용적이고 효율적인 알고리즘 유도에 미치는 영향은 무엇인가?

주요 결과

• Φ(H) = Tr(H⁻¹)와 Φ(H) = -log|H|로 선택함으로써 프레임워크는 각각 AdaGrad와 ONS를 특수한 경우로 회복하며, H_t에 대해 닫힌 형태의 해를 제공한다.
• AdaGrad의 경우 예측행렬는 H_t = (∑_{s=1}^t g_s g_s^T)^{-1/2}이며, ONS의 경우 H_t = (∑_{s=1}^t g_s g_s^T)^{-1}이다.
• H를 대각행렬로 제약함으로써 AdaGrad와 ONS의 대각형 버전을 도출할 수 있으며, 동일한 분석적 구조를 유지한다.
• H를 항등행렬의 양수 배수로 제약함으로써 스칼라 형태의 변형을 얻을 수 있으며, 이는 적응형 학습률 η_t ∝ 1 / (ε + ∑_{s=1}^t ‖g_s‖²)를 유도한다.
• 강볼록 케이스에서는 프레임워크가 O(log T)의 리그레트 경계를 도출하며, 특히 α-강볼록 및 γ-리프시츠 함수의 경우 ≤ (γ²/α)(8 + log T)의 경계를 제공한다.
• 문제를 행렬 위에서의 FTL로 재구성함으로써 분석이 크게 단순화되며, 이는 이전 연구에서 사용된 복잡한 기술적 유도 과정을 피할 수 있다.