[논문 리뷰] A Theoretical and Empirical Comparison of Gradient Approximations in Derivative-Free Optimization

Albert S. Berahas, Liyuan Cao외 2명|arXiv (Cornell University)|2019. 05. 03.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 유한 차분, 선형 보간, 가우시안 스무딩, 구면 스무딩을 포함한 기울기 근사 방법의 이론적 및 실증적 비교를 제시한다. 이는 유한한 노이즈 하에서 미분 없는 최적화에 적용된다. 선형 탐색과 고정 단계 강하법에 대해 수렴을 보장하는 샘플링 범위를 확립하며, 기울기 근사 방법 중에서 유한 차분과 보간 기법이 스무딩 기법보다 효율성과 정확도에서 뛰어남을 보여준다.

ABSTRACT

In this paper, we analyze several methods for approximating gradients of noisy functions using only function values. These methods include finite differences, linear interpolation, Gaussian smoothing and smoothing on a sphere. The methods differ in the number of functions sampled, the choice of the sample points, and the way in which the gradient approximations are derived. For each method, we derive bounds on the number of samples and the sampling radius which guarantee favorable convergence properties for a line search or fixed step size descent method. To this end, we use the results in [Berahas et al., 2019] and show how each method can satisfy the sufficient conditions, possibly only with some sufficiently large probability at each iteration, as happens to be the case with Gaussian smoothing and smoothing on a sphere. Finally, we present numerical results evaluating the quality of the gradient approximations as well as their performance in conjunction with a line search derivative-free optimization algorithm.

연구 동기 및 목표

• 유한한 노이즈 하에서 기울기 근사 방법의 이론적 및 실증적 성능을 분석하고 비교하는 것.
• 선형 탐색과 고정 단계 강하법에 대해 수렴을 보장하는 샘플링 범위와 반경 요구 조건을 유도하는 것.
• 유한 차분, 선형 보간, 가우시안 스무딩, 구면 스무딩의 실용적 효율성과 정확도를 평가하는 것.
• 샘플링 전략과 단계 크기 선택이 기울기 근사 방법의 수렴과 성능에 미치는 영향을 조사하는 것.
• 유한한 노이즈 가정 하에서 L-BFGS 또는 선형 탐색 방법과 함께 기울기 근사를 사용하는 데 이론적 근거를 제공하는 것.

제안 방법

• 좌표 방향에 따라 변형된 점에서의 함수 평가를 통해 전진 및 중심 유한 차분을 사용하여 기울기를 근사한다.
• 현재 점에서부터 n개의 선형 독립적인 방향을 사용하여 보간을 적용하며, 기울기는 방향 벡터를 포함하는 행렬의 역행렬을 통해 추정한다.
• 독립적이고 평균이 0인 가우시안 방향을 따라 방향 도함수의 평균을 취함으로써 가우시안 스무딩을 적용하며, 정확도를 높이기 위해 분산을 조정한다.
• n차원 구면에서 균일하게 샘플링된 단위 벡터를 사용하여 방향 도함수의 평균을 취함으로써 구면 스무딩을 구현한다.
• 유한한 노이즈 하에서 기울기 근사가 충분한 강하 조건을 충족할 확률이 높아지도록 하기 위해 샘플 수와 샘플링 반경에 대한 이론적 경계를 유도한다.
• 수치 실험에서 적응형 및 고정 단계 크기를 사용하여 선형 탐색과 L-BFGS 방법을 적용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 유한한 노이즈 하에서 다양한 기울기 근사 방법이 이론적 수렴 보장을 어떻게 달성하는가?
• RQ2 기울기 근사 방법 각각이 기울기 근사 방법의 수렴을 보장하기 위해 필요한 최소 기능 평가 수와 샘플링 반경은 얼마인가?
• RQ3 유한 차분, 선형 보간, 스무딩 기반 방법 간의 정확도와 계산 효율성은 어떻게 비교되는가?
• RQ4 가우시안 분포와 구면 분포 중 어떤 샘플링 분포 선택이 기울기 근사 품질과 수렴에 영향을 미치는가?
• RQ5 적응형 단계 크기 선택이 고정 단계 크기와 비교하여 다양한 기울기 근사 방법의 성능 향상에 어떻게 기여하는가?

주요 결과

• 유한 차분과 선형 보간 기법은 스무딩 기반 기법보다 더 적은 기능 평가 수를 요구하며 더 빠른 수렴 속도를 달성한다.
• 가우시안 스무딩과 구면 스무딩은 유사한 정확도를 달성하기 위해 상당히 많은 샘플(예: BSG의 경우 N = 4n)이 필요하지만, 높은 확률로 수렴을 보장할 수 있다.
• 가장 우수한 성능을 보인 변종은 적응형 단계 크기 절차를 사용하였으며, 대부분의 경우 L-BFGS 탐색 방향이 최대 강하법보다 뛰어났다.
• 무작위 또는thonormal 방향을 사용한 보간은 강화 학습 과제에서 결정적 유한 차분보다 뛰어난 성능을 보였으며, 국소 최소값에서의 탈출이 더 잘 이루어졌기 때문일 것이다.
• 선형 탐색은 보간 및 스무딩 기법에 대해 수동으로 조정된 고정 단계 크기보다 성능 향상을 이뤘다.
• 각 방법에 대해 수렴 조건을 충족시키기 위한 샘플링 반경과 샘플 수에 대한 이론적 경계를 도출하였으며, 이는 유한한 노이즈 하에서 충분한 강하 조건을 보장한다.