[논문 리뷰] Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization

Raghu Bollapragada, Stefan M. Wild|arXiv (Cornell University)|2019. 10. 29.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 공통 난수 프레임워크 내에서 유한차분 기반의 기울기 추정을 사용하여 도함수 없는 확률적 최적화를 위한 적응형 샘플링 쿼asi-뉴턴 방법을 제안한다. 유한차분 추정에 기반한 기존의 수렴 테스트를 수정하여 노름과 내적 테스트를 도입함으로써, 고정 샘플 크기의 확률적 기울기 방법에 비해 수렴 효율성과 안정성을 햖थ한다. 수치 결과는 비선형 최소제곱 문제에서 뛰어난 성능을 보였다.

ABSTRACT

We consider stochastic zero-order optimization problems, which arise in settings from simulation optimization to reinforcement learning. We propose an adaptive sampling quasi-Newton method where we estimate the gradients of a stochastic function using finite differences within a common random number framework. We employ modified versions of a norm test and an inner product quasi-Newton test to control the sample sizes used in the stochastic approximations. We provide preliminary numerical experiments to illustrate potential performance benefits of the proposed method.

연구 동기 및 목표

• 기울기 정보가 없고 기능 평가만 가능한 도함수 없는 확률적 최적화 문제를 해결하기 위해.
• 유한차분 기울기 근사에서 추정 정확도와 계산 비용의 균형을 이루는 적응형 샘플링 전략을 개발하기 위해.
• 기존의 하향 샘플링 쿼아시-뉴턴 방법을 유한차분 추정기와 함께 사용할 수 있도록 기존 수렴 테스트를 수정하여 제로오더 환경으로 확장하기 위해.
• 오차 한계와 쿼아시-뉴턴 조건을 기반으로 샘플 크기를 동적으로 조정하여 확률적 최적화의 수렴 효율성과 안정성을 향상시키기 위해.
• 제어된 노이즈가 있는 확률적 비선형 최소제곱 문제에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 공통 난수(CRN) 프레임워크 내에서 전진 유한차분을 사용하여 기울기를 추정한다: $\nabla F^{\textrm{FD}}_{S_k}(x_k) = \frac{1}{|S_k|} \sum_{\zeta_i \in S_k} \frac{f(x_k + \nu e_j, \zeta_i) - f(x_k, \zeta_i)}{\nu}$.
• 유한차분 노름 테스트를 제안한다: $\frac{\frac{1}{|S_k^v|-1} \sum_{\zeta_i \in S_k^v} \|\nabla F_i^{\textrm{FD}}(x_k) - \nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2}{|S_k|} \leq \theta^2 \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2$, 기울기 추정의 분산을 제어하기 위해.
• 내적 쿼아시-뉴턴 테스트를 도입한다: $\mathbb{E}[ (H_k \nabla F_{S_k}^{\textrm{FD}}(x_k))^T (H_k \nabla F(x_k)) ] > 0$, 유한차분 환경에 적응시켜 쿼아시-뉴턴 방향의 품질을 확보하기 위해.
• 편의적 스텝 크기 규칙을 적용한다: $\hat{\alpha}_k = \left(1 + \frac{\operatorname{Var}_{\zeta_i \in S_k^v}(\nabla F_i^{\textrm{FD}}(x_k))}{|S_k| \|\nabla F_{S_k}^{\textrm{FD}}(x_k)\|^2} \right)^{-1}$, 수렴을 안정화시키기 위해.
• 안정적인 쿼아시-뉴턴 갱신을 위해 $y_k = \nabla F_{S_k}^{\textrm{FD}}(x_{k+1}) - \nabla F_{S_k}^{\textrm{FD}}(x_k)$ 를 동일한 샘플 세트에서 계산하고, $y_k^T s_k \leq \beta \|s_k\|^2$ 인 경우 갱신을 생략한다. 여기서 $\beta = 10^{-2}$.
• 제한된 메모리와 제안된 테스트에 기반한 적응형 샘플 크기 선택을 통해 L-BFGS를 적용하여 정확성과 효율성의 균형을 이루기 위해.

실험 결과

연구 질문

• RQ1 기울기 추정에 기반한 적응형 샘플링 전략이 도함수 없는 확률적 최적화에서 수렴을 향상시킬 수 있는가?
• RQ2 유한차분 근사 오차가 존재하는 상황에서 수정된 노름 테스트와 내적 테스트의 샘플 크기 제어 성능은 어떠한가?
• RQ3 이러한 테스트를 사용한 동적 샘플 크기 조정이 고정 샘플 크기의 확률적 기울기 방법에 비해 더 빠른 수렴과 더 나은 안정성을 제공하는가?
• RQ4 제안된 방법이 제로오더 환경에서 표준 확률적 기울기 방법보다 더 나은 수렴 이웃을 달성할 수 있는가?
• RQ5 실제 구현에서 노름 테스트와 내적 쿼아시-뉴턴 테스트의 상대적 성능은 어떠한가?

주요 결과

• 제안된 적응형 샘플링 쿼아시-뉴턴 방법(FD-Norm 및 FD-IPQN)은 체비샤드 문제에서 조정된 유한차분 기반 확률적 기울기 방법보다 기능 평가 효율성이 뛰어나다.
• 제안된 방법의 두 변종 모두 고정 샘플 크기의 확률적 기울기 방법에 비해 최적 해에 훨씬 더 가까운 이웃으로 수렴하였다.
• 수치 실험에서 노름 테스트와 내적 쿼아시-뉴턴 테스트 간에 유의미한 성능 차이를 관찰하지 못했다.
• 확률적 기울기 방법은 동일한 오차 수준에 도달하기 위해 더 많은 기능 평가를 필요로 하여, 고정 샘플 크기와 적응 제어의 부재로 인한 비효율성을 보였다.
• 적응형 샘플링 전략은 추정 오차와 계산 비용을 효과적으로 균형 잡아, 더 적은 총 기능 평가 수로 더 빠른 수렴을 이끌어냈다.
• 노이즈 수준($\sigma = 10^{-3}$ 및 $\sigma = 10^{-5}$)에 관계없이 이 방법은 일관된 성능 향상을 유지하며 뛰어난 강건성을 보였다.