[논문 리뷰] Generalized Deterministic Perturbations For Simultaneous Perturbation Methods

K. Chandramouli, Prabuchandran K. J외 2명|arXiv (Cornell University)|2017. 02. 21.

Metaheuristic Optimization Algorithms Research인용 수 1

한 줄 요약

이 논문은 무작위 방향 키퍼-월프(RDKW) 확률적 최적화 알고리즘을 위한 결정론적 교란 순열의 일반화를 다루며, 이전에 알려진 바보다 더 넓은 범주를 포함하는 교란 순열의 클래스를 특성화한다. 최소 주기 길이를 갖는 새로운 구성법을 제안하여 시뮬레이션에서 무작위 및 하다르드 기반 교란보다 향상된 수렴성과 성능을 입증하였고, 일반화된 클래스에 대해 수렴성을 증명하였다.

ABSTRACT

Stochastic optimization (SO) considers the problem of optimizing an objective function in the presence of noise. Most of the solution techniques in SO estimate gradients from the noise corrupted observations of the objective and adjust parameters of the objective along the direction of the estimated gradients to obtain locally optimal solutions. Two prominent algorithms in SO namely Random Direction Kiefer-Wolfowitz (RDKW) and Simultaneous Perturbation Stochastic Approximation (SPSA) obtain noisy gradient estimate by randomly perturbing all the parameters simultaneously. This forces the search direction to be random in these algorithms and causes them to suffer additional noise on top of the noise incurred from the samples of the objective. Owing to this additional noise, the idea of using deterministic perturbations instead of random perturbations for gradient estimation has also been studied. Two specific constructions of the deterministic perturbation sequence using lexicographical ordering and Hadamard matrices have been explored and encouraging results have been reported in the literature. In this paper, we characterize the class of deterministic perturbation sequences that can be utilized in the RDKW algorithm. This class expands the set of known deterministic perturbation sequences available in the literature. Using our characterization we propose a construction of a deterministic perturbation sequence that has the least possible cycle length among all deterministic perturbations. Through simulations we illustrate the performance gain of the proposed deterministic perturbation sequence in the RDKW algorithm over the Hadamard and the random perturbation counterparts. We establish the convergence of the RDKW algorithm for the generalized class of deterministic perturbations.

연구 동기 및 목표

• 기존의 구성법을 초월하여 RDKW 알고리즘에 적용 가능한 더 넓은 범주를 갖는 결정론적 교란 순열을 식별하고 특성화하는 것.
• 모든 결정론적 교란 중에서 가능한 한 최소 주기 길이를 갖는 새로운 결정론적 교란 순열을 개발하는 것.
• 무작위 교란으로 인한 노이즈를 줄이면서도 수렴성을 유지함으로써 RDKW의 강건성과 효율성을 향상시키는 것.
• 시뮬레이션을 통해 제안된 교란 순열이 무작위 및 하다르드 기반 대안들과 비교하여 실증적으로 검증하는 것.
• 일반화된 결정론적 교란 순열을 사용할 경우 RDKW 알고리즘의 이론적 수렴성을 확립하는 것.

제안 방법

• 논문은 조합론적 및 대수적 구조를 활용하여 기존의 사전순서 및 하다르드 기반 순열을 초월하는 결정론적 교란 순열의 일반화된 클래스를 정의한다.
• 교란 순열의 주기 길이를 최소화하는 새로운 구성 방법을 제안하여 효율적이고 반복 가능한 기울기 추정을 보장한다.
• 직교 배열과 균형 잡힌 순열의 성질을 활용하여 교란 방향의 다양성과 균일성을 유지한다.
• RDKW 알고리즘은 기울기 추정을 위해 무작위 교란 대신 이러한 결정론적 순열을 사용하도록 수정된다.
• 스토하스틱 근사 이론을 활용하여 일반화된 교란 클래스에 대해 거의 확실한 수렴성을 증명한다.
• 시뮬레이션을 통해 제안된 방법이 수렴 속도와 정확도 측면에서 무작위 및 하다르드 기반 교란과 비교된다.

실험 결과

연구 질문

• RQ1 RDKW 알고리즘에서 수렴성을 보장하기 위해 결정론적 교란 순열이 만족해야 할 조건은 무엇인가?
• RQ2 효율적인 기울기 추정을 유지하면서도 가능한 한 최소 주기 길이를 갖는 결정론적 교란 순열을 구성할 수 있는가?
• RQ3 제안된 결정론적 교란 순열의 성능은 수렴 속도와 정확도 측면에서 무작위 및 하다르드 기반 교란과 비교해 어떻게 다를까?
• RQ4 일반화된 결정론적 교란을 사용할 경우 RDKW의 수렴성에 대한 이론적 기반은 무엇인가?
• RQ5 사전순서 및 하다르드 구성법을 초월하여 사용 가능한 결정론적 교란의 범위를 의미 있게 확장할 수 있는가?

주요 결과

• 논문은 이전에 알려진 사전순서 및 하다르드 기반 순열을 초월하는 결정론적 교란 순열의 일반화된 클래스를 식별하였다.
• 모든 결정론적 교란 중에서 가능한 한 최소 주기 길이를 갖는 새로운 결정론적 교란 순열을 제안하였으며, 이는 중복을 최소화하고 효율성을 향상시킨다.
• 시뮬레이션 결과, 제안된 교란 순열은 무작위 및 하다르드 기반 대비 더 빠른 수렴성과 더 낮은 기울기 추정 분산을 달성하였다.
• 일반화된 결정론적 교란을 사용하는 RDKW 알고리즘은 표준 스토하스틱 근사 조건 하에서 거의 확실한 수렴성을 입증하였다.
• 성능 향상은 구조적이고 비무작위적인 교란으로 인한 노이즈 감소로 인해 더 정확한 기울기 추정이 가능해졌기 때문으로 기인된다.
• 이론적 보장을 유지하면서도 최적화 속도와 안정성 향상 측면에서 실용적 개선을 제공한다.