[논문 리뷰] Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization

Albert S. Berahas, Liyuan Cao외 2명|arXiv (Cornell University)|2019. 05. 29.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 7

한 줄 요약

이 논문은 노이즈가 많고 비용이 많이 드는 블랙박스 함수를 위한 도함수 기반 최적화 방법인 직선 보간을 사용하는 수직 방향(LIOD)을 제안한다. 이는 이론적 및 실험적으로 가우시안 스무딩(GSG)보다 훨씬 더 정확한 기울기 추정치를 제공함을 입증한다. 주요 기여는 동일한 샘플링 예산 하에서 더 낮은 기울기 오차와 더 빠른 수렴 속도를 달성하며, 특히 강화학습 작업에서 효과적이라는 점이다.

ABSTRACT

In this paper, we consider derivative free optimization problems, where the objective function is smooth but is computed with some amount of noise, the function evaluations are expensive and no derivative information is available. We are motivated by policy optimization problems in reinforcement learning that have recently become popular [Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016], and that can be formulated as derivative free optimization problems with the aforementioned characteristics. In each of these works some approximation of the gradient is constructed and a (stochastic) gradient method is applied. In [Salimans et al. 2016] the gradient information is aggregated along Gaussian directions, while in [Choromaski et al. 2018] it is computed along orthogonal direction. We provide a convergence rate analysis for a first-order line search method, similar to the ones used in the literature, and derive the conditions on the gradient approximations that ensure this convergence. We then demonstrate via rigorous analysis of the variance and by numerical comparisons on reinforcement learning tasks that the Gaussian sampling method used in [Salimans et al. 2016] is significantly inferior to the orthogonal sampling used in [Choromaski et al. 2018] as well as more general interpolation methods.

연구 동기 및 목표

• 도함수가 이용 불가능한 노이즈가 많고 비용이 많이 드는 블랙박스 함수 최적화 문제를 해결하는 데 초점 맞추기, 특히 강화학습 정책 최적화에서의 응용을 중심으로 하기.
• 제한된 노이즈 조건 하에서 기울기 근사 방법—특히 가우시안 스무딩과 수직 방향 선형 보간—을 분석하고 비교하기.
• 기울기 추정치를 사용하는 선형 탐색 방법의 이론적 수렴 보장을 수립하고, 최적해의 노이즈 이웃 영역으로 수렴하는 조건을 규명하기.
• 기울기 근사의 분산과 오차를 정량화하여, 무작위 가우시안 방향 대비 구조화된(수직) 샘플링이 더 우수함을 입증하기.
• 이론적 결과를 합성 테스트 함수와 OpenAI Gym의 벤치마크 강화학습 환경에서의 수치 실험을 통해 검증하기.

제안 방법

• 제한된 노이즈 조건 하에서 도함수 기반 최적화를 위한 일반적인 선형 탐색 알고리즘 제안. 기울기 추정치 $ g(x) $ 는 $ \|g(x) - \nabla\phi(x)\| \leq \theta \|\nabla\phi(x)\| $ 를 만족하며, $ \theta \leq 1/2 $ 이다.
• 선형 독립인 $ n $ 개의 방향 $ u_i $ 를 사용한 선형 보간을 활용. $ f(x + \sigma u_i) $ 값들을 이용해 $ g(x) $ 를 계산함으로써 결정론적 오차 한계 확보.
• 기울기 추정치를 $ g(x) = \frac{1}{2N} \sum_{i=1}^{N} \frac{f(x + \sigma u_i) - f(x - \sigma u_i)}{\sigma} u_i $ 로 정의. 정규직교 $ u_i $ 를 사용하며, 이는 선형 보간과 동치이다.
• 독립 동일분포 가우시안 행렬의 그람슈미트 수직화 또는 구조화된 행렬(예: 무작위 하다르드 행렬)을 사용해 수직 샘플링을 구현함으로써 계산 비용 절감.
• 고정 단계 크기와 아르미조 조건 기반 선형 탐색 전략을 모두 구현하여 단계 크기 선택 방법 간 성능 비교.
• 강화학습 실험에서는 고정 $ \alpha = 0.01 $ 과 $ \sigma = 0.1 $ 을 사용한 Adam 최적화기 사용. 또한 아르미조 조건($ c_1 = 0.2, \tau = 0.3 $)을 적용한 선형 탐색도 테스트.

실험 결과

연구 질문

• RQ1 도함수 기반 최적화에서 수직 방향을 사용한 선형 보간이 가우시안 스무딩보다 더 정확한 기울기 추정치를 제공하는가?
• RQ2 제한된 노이즈 조건 하에서 선형 탐색 방법의 수렴을 보장하기 위한 기울기 추정치에 대한 이론적 조건은 무엇인가?
• RQ3 기울기 근사의 분산은 샘플링 방법(Gaussian 대비 orthogonal)과 샘플 수에 따라 어떻게 달라지는가?
• RQ4 노이즈가 많고 비용이 많이 드는 함수 평가가 이루어지는 실질적인 강화학습 작업에서 수직 샘플링 방법이 가우시안 스무딩을 초월할 수 있는가?
• RQ5 고정 단계 크기 방법(예: Adam)에 비해 선형 탐색을 사용할 경우 수렴 속도 향상 정도는 어느 정도인가?

주요 결과

• 선형 보간을 사용한 수직 방향(LIOD)은 가우시안 스무딩(GSG)보다 기울기 추정치 오차가 현저히 낮음을 확인하였으며, 분산 분석과 수치 실험을 통해 입증됨.
• Schittowski 테스트 세트에서, LIOD는 $ 2n $ 개 샘플로 상대 오차 로그가 -0.1529를 기록하였고, GSG는 -0.0254를 기록하여 더 높은 정확도를 보임.
• 강화학습 작업(Swimmer, HalfCheetah, Reacher)에서 LIOD와 선형 탐색 조합이 GSG 및 고정 단계 크기 Adam보다 빠른 수렴 속도와 더 나은 최종 성능 기록.
• 무작위 정규직교 방향 사용이 국소 최적해를 피하는 데 기여하였고, 표준 유한 차분 방법(특수한 형태의 LIOD)은 GSG 대비 더 뛰어난 강건성을 보임.
• 이론적 분석 결과, LIOD는 $ \theta < 1/2 $ 를 만족하는 기울기 오차 한계 $ \|g(x) - \nabla\phi(x)\| \leq \theta \|\nabla\phi(x)\| $ 를 확보하여 최적해의 노이즈 이웃 영역으로 수렴함을 보장함.
• 무작위 하다르드 행렬과 같은 구조화된 행렬을 사용하면 수직 샘플링 비용을 $ \mathcal{O}(n^3) $ 에서 $ \mathcal{O}(n\log n) $ 으로 감소시켜 고차원 문제에의 확장 가능성을 높임.