[논문 리뷰] Tighter Analysis of Alternating Stochastic Gradient Method for Stochastic Nested Problems

Tianyi Chen, Yuejiao Sun외 1명|arXiv (Cornell University)|2021. 06. 25.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 이중, 최소-최대, 복합 문제와 같은 스토하스틱 중첩 최적화 문제를 해결하기 위한 통합 프레임워크인 ALSET(ALTernating Stochastic gradient dEscenT) 방법을 제안한다. 숨겨진 매끄러움성과 보다 날카운 분석을 활용하여, $\epsilon$-정류점에 도달하기 위한 샘플 복잡도를 ${\cal O}(\epsilon^{-2})$로 확립하며, 특수 케이스에서 기존의 경계와 동일하거나 이를 향상시킨다.

ABSTRACT

Stochastic nested optimization, including stochastic compositional, min-max and bilevel optimization, is gaining popularity in many machine learning applications. While the three problems share the nested structure, existing works often treat them separately, and thus develop problem-specific algorithms and their analyses. Among various exciting developments, simple SGD-type updates (potentially on multiple variables) are still prevalent in solving this class of nested problems, but they are believed to have slower convergence rate compared to that of the non-nested problems. This paper unifies several SGD-type updates for stochastic nested problems into a single SGD approach that we term ALternating Stochastic gradient dEscenT (ALSET) method. By leveraging the hidden smoothness of the problem, this paper presents a tighter analysis of ALSET for stochastic nested problems. Under the new analysis, to achieve an $ε$-stationary point of the nested problem, it requires ${\cal O}(ε^{-2})$ samples. Under certain regularity conditions, applying our results to stochastic compositional, min-max and reinforcement learning problems either improves or matches the best-known sample complexity in the respective cases. Our results explain why simple SGD-type algorithms in stochastic nested problems all work very well in practice without the need for further modifications.

연구 동기 및 목표

• 스토하스틱 중첩 문제에 대한 기존 SGD 유형의 방법들을 하나의 프레임워크로 통합하기.
• 스토하스틱 이중, 최소-최대, 복합 최적화에서 교차하는 SGD 방법에 대한 보다 날카운 수렴 분석 제공.
• 복잡한 수정 없이도 간단한 SGD 유형 알고리즘이 중첩 문제에서 경험적으로 성공하는 이유 설명.
• 일반적인 정규성 조건 하에서 $\epsilon$-정류점에 도달하기 위한 최적의 샘플 복잡도 확립.

제안 방법

• 이중, 최소-최대, 복합 형식에 공통되는 구조를 가진 스토하스틱 중첩 문제에 대한 통합된 교차하는 SGD 접근 방식으로 ALSET 방법을 제안.
• 진전과 안정성을 추적하기 위해 리아푸노프 함수 $\mathbb{V}^k = -F(\theta_k) + \|y_k - y^*(\theta_k)\|^2$ 를 도입.
• 리아푸노프 함수에 대한 천천히 줄어드는 추론을 통해 기대값 $\mathbb{E}\|\nabla F(\theta_k)\|^2$ 의 노름을 제한.
• 수렴과 근사 오차를 균형 잡기 위해 단계 크기 규칙 $\alpha_k = \mathcal{O}(1/\sqrt{K})$, $\beta_k = \mathcal{O}(1/\sqrt{K})$ 를 유도.
• 문제의 숨겨진 매끄러움성을 활용하여 기울기 추정 및 하위 수준 해의 오차에 대한 경계를 강화.
• 상위 수준 기울기의 부정확성(하위 수준 해의 근사로 인한)을 다루기 위해 편향-분산 분해를 적용.

실험 결과

연구 질문

• RQ1 단일 SGD 기반 프레임워크로 스토하스틱 이중, 최소-최대, 복합 문제의 수렴 분석을 통합할 수 있는가?
• RQ2 스토하스틱 중첩 최적화에서 $\epsilon$-정류점에 도달하기 위한 가장 날카운 샘플 복잡도는 무엇인가?
• RQ3 이론적으로 느린 수렴이 예상되지만 실무에서 단순한 교차하는 SGD 방법이 잘 작동하는 이유는 무엇인가?
• RQ4 중첩 문제에서의 숨겨진 매끄러움성을 어떻게 활용하여 수렴 분석을 향상시킬 수 있는가?

주요 결과

• ALSET 방법은 스토하스틱 중첩 문제에서 $\epsilon$-정류점에 도달하기 위해 ${\cal O}(\epsilon^{-2})$ 샘플 복잡도를 달성한다.
• 정규성 조건 하에서, 이 방법은 스토하스틱 복합, 최소-최대, 강화 학습 문제에서 기존에 알려진 최고의 샘플 복잡도와 동일하거나 이를 향상시킨다.
• 분석은 알고리즘 수정 없이도 단순한 SGD 유형 알고리즘이 중첩 설정에서 경험적으로 강건한 이유를 설명한다.
• 수렴 경계는 목적 함수 진전과 하위 수준 해 오차를 동시에 추적하는 새로운 리아푸노프 함수를 통해 유도된다.
• 상위 수준 기울기의 부정확성(하위 수준 해의 근사로 인한)은 $\mathcal{O}(1/\sqrt{K})$ 단계 크기로 제어될 수 있음을 밝혀냈다.
• 분석은 문제 구조의 숨겨진 매끄러움성이 표준 SGD 분석보다 더 날카운 경계를 가능하게 한다는 것을 드러냈다.