[논문 리뷰] Improve Single-Point Zeroth-Order Optimization Using High-Pass and Low-Pass Filters

Xin Chen, Yujie Tang외 1명|arXiv (Cornell University)|2021. 11. 02.

Extremum Seeking Control Systems참고 문헌 24인용 수 4

한 줄 요약

이 논문은 고역통과 및 저역통과 필터를 통합하여 분산을 줄이고 수렴 속도를 향상시키는 새로운 단일점 제로계수 최적화 방법인 HLF-SZO를 제안한다. 고역통과 필터를 잔차 피드백으로, 저역통과 필터를 운동량으로 해석함으로써, HLF-SZO는 볼록 및 비볼록 설정 모두에서 𝒪(d^{3/2}/ε^{3/2})의 향상된 반복 복잡도를 달성한다. 수치 실험에서 기존의 단순한 및 잔차 피드백 기반 SZO 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Single-point zeroth-order optimization (SZO) is useful in solving online black-box optimization and control problems in time-varying environments, as it queries the function value only once at each time step. However, the vanilla SZO method is known to suffer from a large estimation variance and slow convergence, which seriously limits its practical application. In this work, we borrow the idea of high-pass and low-pass filters from extremum seeking control (continuous-time version of SZO) and develop a novel SZO method called HLF-SZO by integrating these filters. It turns out that the high-pass filter coincides with the residual feedback method, and the low-pass filter can be interpreted as the momentum method. As a result, the proposed HLF-SZO achieves a much smaller variance and much faster convergence than the vanilla SZO method and empirically outperforms the residual-feedback SZO method, which is verified via extensive numerical experiments.

연구 동기 및 목표

• 온라인 및 시간에 따라 변화하는 환경에서 기존 단일점 제로계수 최적화(SZO)의 높은 추정 분산과 느린 수렴 문제를 해결하기 위해.
• 제로계수 최적화와 극대화 추적 제어 사이의 격차를 메우기 위해, 후자의 필터링 기법을 차용함으로써.
• 기존 방법보다 더 빠른 수렴 속도와 낮은 분산을 달성하는 새로운 SZO 방법을 개발하기 위해.
• 표준 미세도 및 리프시츠 조건 하에서 제안된 방법의 이론적 반복 복잡도를 수립하기 위해.
• 어려운 최적화 과제에서 기존의 단순 SZO 및 잔차 피드백 기반 SZO에 비해 성능 superiority를 실증적으로 검증하기 위해.

제안 방법

• 최근 연구에서 사용된 잔차 피드백 기법과 수학적으로 동일한 고역통과 필터를 SZO 프레임워크에 통합한다.
• 운동량(중량 구르기) 방법을 모방하기 위해 저역통과 필터를 통합함으로써 수렴 속도를 향상시킨다.
• 결합된 필터링 메커니즘은 기울기 추정 분산을 감소시키고, 노이즈가 많거나 비정상적인 환경에서의 안정성을 향상시킨다.
• 알고리즘은 각 반복마다 단일 함수 평가를 사용하므로, SZO의 온라인 및 적응형 성격을 유지한다.
• 필터링 과정은 시간 이산화된 형태로 적용되며, 노이즈 제거 능력과 반응성 사이의 균형을 위해 파라미터를 조정한다.
• 이 방법은 온라인 및 블랙박스 최적화와 특히 제어 및 강화 학습 환경에서의 호환성을 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 극대화 추적 제어에서 유래한 고역통과 및 저역통과 필터링 기법을 단일점 제로계수 최적화에 효과적으로 적용할 수 있는가?
• RQ2 필터링 메커니즘을 통합함으로써, 기존의 단순 및 잔차 피드백 기반 접근법에 비해 SZO의 분산 감소와 수렴 가속화가 이루어지는가?
• RQ3 표준 미세도 및 리프시츠 조건 하에서 제안된 HLF-SZO 방법의 이론적 반복 복잡도는 무엇인가?
• RQ4 비정상적 또는 노이즈가 있는 최적화 문제, 예를 들어 온라인 LQR 제어에서 HLF-SZO는 실제로 어떻게 성능을 발휘하는가?
• RQ5 필터 기반 접근법은 단일 평가의 이점을 유지하면서도, 이중점 ZO 방법과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 HLF-SZO 방법은 볼록 및 비볼록 문제 모두에서 𝒪(d^{3/2}/ε^{3/2})의 반복 복잡도를 달성하여, 기존 단순 SZO의 𝒪(d²/ε³) 복잡도를 향상시켰다.
• HLF-SZO의 고역통과 필터 구성 요소는 기존 연구에서 사용된 잔차 피드백 메커니즘과 수학적으로 동일하며, 기울기 추정 분산을 크게 감소시킨다.
• 저역통과 필터 구성 요소는 운동량 방법에 해당하며, 더 빠른 수렴 속도 기여에 기여한다.
• LQR 문제에 대한 수치 실험에서 HLF-SZO는 잔차 피드백 기반 SZO보다 더 빠르게 수렴했으며, 이중점 ZO 방법과 유사한 성능을 달성했다.
• 다양한 시스템 노이즈 수준(δ = 0, 0.005, 0.01)에서 HLF-SZO는 모든 경우에서 잔차 피드백 기반 SZO보다 더 빠른 수렴과 높은 정확도를 유지했다.
• 실증적으로 HLF-SZO는 수렴 속도 및 분산 감소 측면에서 기존 단순 SZO보다 뛰어난 성능을 보이며, 온라인 및 노이즈가 많은 환경에서 실용적 이점을 입증했다.