[논문 리뷰] Optimization with Discrete Simultaneous Perturbation Stochastic Approximation Using Noisy Loss Function Measurements

Qi Wang|arXiv (Cornell University)|2013. 10. 31.

Simulation Techniques and Applications참고 문헌 1인용 수 12

한 줄 요약

이 논문은 소음이 있는 손실 함수 측정값이 존재하는 이산 확률적 최적화 문제를 위한 중간점 이산 동시 섭동 확률적 근사(DSPSA) 알고리즘을 제안한다. 이 알고리즘은 최적 해로의 거의 확실 수렴을 증명하고, 평균 제곱 오차 경계를 통해 수렴 속도를 확립하며, 공공보건 인플루엔자 확산 방지 응용 사례에서 이론적 및 수치적 비교를 통해 Stochastic Ruler(SR) 및 Stochastic Comparison(SC) 알고리즘보다 뛰어난 성능을 보여준다.

ABSTRACT

Discrete stochastic optimization considers the problem of minimizing (or maximizing) loss functions defined on discrete sets, where only noisy measurements of the loss functions are available. The discrete stochastic optimization problem is widely applicable in practice, and many algorithms have been considered to solve this kind of optimization problem. Motivated by the efficient algorithm of simultaneous perturbation stochastic approximation (SPSA) for continuous stochastic optimization problems, we introduce the middle point discrete simultaneous perturbation stochastic approximation (DSPSA) algorithm for the stochastic optimization of a loss function defined on a p-dimensional grid of points in Euclidean space. We show that the sequence generated by DSPSA converges to the optimal point under some conditions. Consistent with other stochastic approximation methods, DSPSA formally accommodates noisy measurements of the loss function. We also show the rate of convergence analysis of DSPSA by solving an upper bound of the mean squared error of the generated sequence. In order to compare the performance of DSPSA with the other algorithms such as the stochastic ruler algorithm (SR) and the stochastic comparison algorithm (SC), we set up a bridge between DSPSA and the other two algorithms by comparing the probability in a big-O sense of not achieving the optimal solution. We show the theoretical and numerical comparison results of DSPSA, SR, and SC. In addition, we consider an application of DSPSA towards developing optimal public health strategies for containing the spread of influenza given limited societal resources.

연구 동기 및 목표

• 오직 소음이 있는 손실 함수 측정값만 제공되는 이산 확률적 최적화 문제를 다루는 것.
• 효율적인 SPSA 프레임워크를 이산 격자로 확장하여 고차원 설정에서의 확장 가능한 최적화를 가능하게 하는 것.
• 표준 확률적 근사 조건 하에서 제안된 DSPSA 알고리즘의 이론적 수렴 보장을 확립하는 것.
• 서브최적 해 선택에 대한 확률적 경계를 사용하여 DSPSA의 성능을 기존 방법들(SR 및 SC)과 비교하는 것.
• 자원 제약 하에서 인플루엔자 확산 방지를 위한 최적의 공공보건 전략 설계에 응용하여 실용적 유용성을 입증하는 것.

제안 방법

• p차원 이산 격자에 특화된 동시 섭동 확률적 근사(SPSA) 방법의 이산 변종을 제안한다.
• 각 반복에서 손실 함수의 기울기를 추정하기 위해 오직 두 번의 소음 있는 함수 평가만을 사용하는 중간점 섭동 기법을 사용한다.
• 추정된 기울기를 바탕으로 감소하는 단계 크기를 갖는 재귀적 업데이트 규칙을 적용하여 수렴을 보장한다.
• 수렴 속도를 분석하기 위해 반복값의 평균 제곱 오차에 대한 상한을 유도한다.
• 소음과 단계 크기 수열에 대한 표준 가정 하에서 최적 해로의 거의 확실 수렴을 확립한다.
• DSPSA와 기존 알고리즘(SR 및 SC) 간의 이론적 연결을 구축하기 위해, 최적 해에 도달하지 못할 확률에 대한 big-O 비교를 수행한다.

실험 결과

연구 질문

• RQ1 소음이 있는 손실 함수 측정값이 존재하는 상황에서도 효율성과 수렴 성질을 유지하는 이산 SPSA의 변종을 개발할 수 있는가?
• RQ2 제안된 DSPSA 알고리즘의 수렴 속도는 무엇이며, 기존의 이산 확률적 최적화 방법들과 비교해 볼 때 어떻게 되는가?
• RQ3 확률적 big-O 기준에서 DSPSA가 최적 해에 도달하지 못할 확률은 SR 및 SC와 비교해 어떻게 되는가?
• RQ4 DSPSA는 자원 제약 하에서 실세계의 이산 최적화 문제, 예를 들어 공공보건 전략 설계에 효과적으로 적용될 수 있는가?
• RQ5 소음이 있고 표본 수가 유한한 손실 함수 측정값이 존재하는 조건 하에서 DSPSA의 수렴에 대해 어떤 이론적 보장을 설정할 수 있는가?

주요 결과

• 표준 소음 및 단계 크기 수열 조건 하에서 DSPSA 알고리즘이 최적 해로 거의 확실하게 수렴함을 증명하였다.
• 반복값의 평균 제곱 오차는 반복 수 k가 증가함에 따라 O(1/k) 속도로 감소하는 항으로 상한이 존재한다.
• big-O 비교를 통해 DSPSA는 SR 및 SC보다 최적 해에 도달하지 못할 확률이 낮음을 확인하였다.
• 수치 실험 결과, 벤치마크 이산 최적화 문제에서 DSPSA가 SR 및 SC보다 수렴 속도와 해의 정확도 측면에서 뛰어난 성능을 보였다.
• 공공보건 응용 사례에서, DSPSA는 자원 할당이 제한된 조건 하에서 인플루엔자 전파를 효과적으로 억제하는 근사 최적 전략을 성공적으로 규명하였다.
• 이론적 분석을 통해 DSPSA는 SPSA의 효율성을 유지하면서도 이산 격자 기반 최적화 문제로의 적용 가능성을 확장함을 보여주었다.