[논문 리뷰] A Single Time-Scale Stochastic Approximation Method for Nested Stochastic Optimization

Saeed Ghadimi, Andrzej Ruszczyński외 1명|arXiv (Cornell University)|2018. 12. 03.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 오직 노이즈가 섞인 기울기 및 함수 값 추정치만 이용 가능한 중첩 스토하스틱 문제를 위한 단일 시간 척도 스토하스틱 최적화 방법인 내재 평균화 스토하스틱 근사(NASA) 알고리즘을 제안한다. 이 알고리즘은 ε-근사 정적점에 도달하기 위한 최적의 ${\cal O}(1/\varepsilon^{2})$ 표본 복잡도를 달성하며, 단일 수준 스토하스틱 최적화에서 알려진 최고의 속도를 따라가며, 배치 샘플링이 필요 없이 제약 조건이 있는지 여부에 관계없이 동일하게 작동한다.

ABSTRACT

We study constrained nested stochastic optimization problems in which the objective function is a composition of two smooth functions whose exact values and derivatives are not available. We propose a single time-scale stochastic approximation algorithm, which we call the Nested Averaged Stochastic Approximation (NASA), to find an approximate stationary point of the problem. The algorithm has two auxiliary averaged sequences (filters) which estimate the gradient of the composite objective function and the inner function value. By using a special Lyapunov function, we show that NASA achieves the sample complexity of ${\cal O}(1/ε^{2})$ for finding an $ε$-approximate stationary point, thus outperforming all extant methods for nested stochastic approximation. Our method and its analysis are the same for both unconstrained and constrained problems, without any need of batch samples for constrained nonconvex stochastic optimization. We also present a simplified variant of the NASA method for solving constrained single level stochastic optimization problems, and we prove the same complexity result for both unconstrained and constrained problems.

연구 동기 및 목표

• 목적이 두 개의 미분 가능 함수의 복합형인 제약 조건이 있는 중첩 스토하스틱 최적화 문제를 다루며, 함수 값과 기울기가 직접 관측 불가능한 상황에서의 해결.
• 배치 샘플링이나 별도의 시간 척도 조정이 필요 없이 단일 시간 척도에서 작동하는 스토하스틱 근사 알고리즘 개발.
• 비제약 및 제약 조건이 있는 설정 모두에서 ε-근사 정적점에 도달하기 위한 최적의 표본 복잡도 확보.
• 동일한 복잡도 보장을 유지하는 단일 수준 스토하스틱 최적화를 위한 파라미터 없는 변형 제시.

제안 방법

• NASA 알고리즘은 복합 목표 함수의 기울기 추정과 내부 함수 값 추정을 위해 두 개의 보조 평균화 시퀀스(필터)를 사용한다.
• 수렴 분석과 표본 복잡도 한계를 확립하기 위해 특수한 리아푸노프 함수를 활용한다.
• 수렴을 보장하기 위해 $\tau_k \propto 1/\sqrt{k}$ 를 만족하는 감소하는 스텝 사이즈를 사용하는 재귀적 업데이트를 적용한다.
• 배치 샘플링이나 별도의 시간 척도 조정 없이도 비제약 및 제약 조건이 있는 문제에 대해 동일하게 처리할 수 있다.
• 스텝 사이즈와 정규화 파라미터를 단순화함으로써 파라미터 없는 변형을 유도하며, 동일한 수렴 속도를 유지한다.
• 기울기의 리프시츠 연속성과 스토하스틱 오라클 출력의 유한한 노이즈에 대한 가정에 기반한 분석을 수행한다.

실험 결과

연구 질문

• RQ1 부분 정보 하에서 단일 시간 척도 스토하스틱 근사 방법이 중첩 스토하스틱 최적화 문제에 대해 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 제안된 방법이 배치 샘플링 없이도 비제약 및 제약 조건이 있는 문제에서 동일한 수렴 속도를 유지하는가?
• RQ3 단일 수준 스토하스틱 최적화 문제에 대해 동일한 복잡도 한계를 유지하는 파라미터 없는 알고리즘 변형을 설계할 수 있는가?
• RQ4 비볼록 중첩 스토하스틱 문제에서 ε-근사 정적점에 도달하기 위해 ${\cal O}(1/\varepsilon^2)$ 표본 복잡도를 달성할 수 있는가?

주요 결과

• NASA 알고리즘은 ε-근사 정적점에 도달하기 위한 표본 복잡도로 ${\cal O}(1/\varepsilon^2)$ 를 달성하며, 이는 단일 수준 스토하스틱 기울기 방법에서 알려진 최고의 속도와 일치한다.
• 수렴 분석과 복잡도 한계는 배치 샘플링이나 별도의 시간 척도 조정 없이도 비제약 및 제약 조건이 있는 문제에 대해 동일하게 유지된다.
• 가정 3에서 정의된 바와 같이 더 일반적인 노이즈 구조를 허용함으로써, 스토하스틱 오라클에 대한 가정을 완화함에도 불구하고 알고리즘이 강건함을 입증한다.
• 파라미터 없는 NASA 변형은 단일 수준 스토하스틱 최적화 문제에 대해 동일한 ${\cal O}(1/\varepsilon^2)$ 표본 복잡도를 유지한다.
• 이론적 보장을 위해 반복점과 기울기 추정 오차의 진동을 추적하는 데 사용되는 새로운 리아푸노프 함수를 도입하였다.
• 표준 스텝 사이즈 조건 하에서 점근적 수렴이 증명되었으며, 축적점이 최적성 조건을 만족하는 해로 거의 확실히 수렴함을 보였다.