[논문 리뷰] A new regret analysis for Adam-type algorithms

Ahmet Alacaoglu, Yura Malitsky외 2명|arXiv (Cornell University)|2020. 03. 21.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 기존 분석에서 β₁ → 0 가 필요로 했던 것과는 달리, 상수 β₁를 사용함에도 불구하고 최적의 O(√T) 데이터 의존적 리그레트 경계를 달성하는 새로운 리그레트 분석 프레임워크를 도입함으로써 애덤 유형 최적화 알고리즘의 이론-실천 격차를 해결한다. 이 방법은 AMSGrad, AdamNC, Sadam에 대해 더 날카롭고 상수 β₁를 유지하는 리그레트 보장을 가능하게 하며, 제로스터드 및 비볼록 설정으로도 확장되어 향상된 경계를 제공한다.

ABSTRACT

In this paper, we focus on a theory-practice gap for Adam and its variants (AMSgrad, AdamNC, etc.). In practice, these algorithms are used with a constant first-order moment parameter $β_{1}$ (typically between $0.9$ and $0.99$). In theory, regret guarantees for online convex optimization require a rapidly decaying $β_{1} o0$ schedule. We show that this is an artifact of the standard analysis and propose a novel framework that allows us to derive optimal, data-dependent regret bounds with a constant $β_{1}$, without further assumptions. We also demonstrate the flexibility of our analysis on a wide range of different algorithms and settings.

연구 동기 및 목표

• 이론에서 β₁ → 0 가 필요로 하지만 실무에서는 상수 β₁를 사용하는 애덤 유형 알고리즘의 지속적인 이론-실천 격차를 해결하기 위해.
• 최적의 경계를 위해 β₁ → 0 가 필요로 했던 이전 리그레트 분석의 한계를 규명하기 위해.
• 추가 가정 없이도 상수 β₁를 사용하여 최적의 O(√T) 리그레트를 달성하는 새로운 분석 프레임워크를 개발하기 위해.
• 이 프레임워크가 볼록, 비볼록, 제로스터드 최적화 설정 전반에 걸쳐 유연하게 적용될 수 있음을 보여주기 위해.
• AMSGrad, AdamNC, Sadam에 대해 상수 β₁를 사용하는 최초의 최적 리그레트 경계를 제공하기 위해.

제안 방법

• 기존 분석의 기술적 결함을 피하고 상수 β₁ 사용을 가능하게 하는 새로운 리그레트 분석 프레임워크를 제안한다.
• 가중치가 부여된 노름과 사영을 사용한 좌표별 분석을 도입하여 기울기 업데이트를 더 잘 제어한다.
• 유도 단계 크기와 모멘터이 항목에 대한 정교한 경계 설정 기법을 활용하며, 영의 부등식과 노름 부등식을 적용한다.
• 두 번째 순서 모멘트 벡터 v_t의 역수 제곱근의 진화를 추적함으로써 데이터 의존적 리그레트 경계를 유도한다.
• AMSGrad, AdamNC, Sadam 등의 다양한 변형에 프레임워크를 적용하여 일관된 향상을 보였다.
• 제로스터드(밴딧) 및 비볼록 설정으로의 분석을 확장하여 더 단순한 증명으로 개선된 또는 동일한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 실무에서 일반적으로 사용되는 상수 β₁를 사용하고도 이론적으로는 β₁ → 0 가 필요로 하는 애덤 유형 알고리즘의 이전 리그레트 분석은 왜 β₁ → 0 를 요구하는가?
• RQ2 온라인 볼록 최적화에서 상수 β₁를 사용하여 최적의 O(√T) 리그레트 경계를 달성할 수 있는가?
• RQ3 이전 분석에서 β₁ → 0 가 필요로 하는 구조적 결함는 무엇인가?
• RQ4 새로운 프레임워크는 비볼록 및 제로스터드 최적화 설정으로 일반화될 수 있는가?
• RQ5 상수 β₁를 사용한 개선된 경계는 T에 대한 의존성과 상수 면에서 기존 결과를 충족하거나 초월하는가?

주요 결과

• 논문은 AMSGrad와 AdamNC에 대해 상수 β₁를 사용하는 최초의 최적 O(√T) 리그레트 경계를 확립하여 이론-실천 격차를 해결한다.
• 강한 볼록 변형인 Sadam에 대해서는 상수 β₁를 사용하여 데이터 의존적 로그 리그레트를 도출하였으며, 이 역시 최적이다.
• 기존 제로스터드 애덤 변형보다 더 나은 성능을 보이며, β₁ ∼ 1/t 가 아닌 상수 β₁를 허용한다.
• 비볼록 설정에서는 더 단순한 증명으로 기존 결과를 회복하며 약간 향상된 상수를 제공한다.
• 유도된 경계는 데이터 의존적이며 ∥v₀⁻¹/²∥₁ 과 T에 의존하며, β₁ 및 β₂에 명시적인 의존성이 있다.
• 프레임워크는 강건성과 유연성을 입증하여 다양한 적응형 최적화 알고리즘에 적용 가능하다.