[논문 리뷰] Improving the Convergence Rate of One-Point Zeroth-Order Optimization using Residual Feedback.

Yan Zhang, Yi Zhou외 2명|arXiv (Cornell University)|2020. 06. 18.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 12

한 줄 요약

이 논문은 각 반복에서 단일 함수 평가만을 사용하여 기존의 두 점 기반 방법과 동일한 수렴 속도를 달성하는 잔차 피드백을 활용한 일점 영차수 최적화 방법을 제안한다. 연속된 피드백 점들 간의 차이를 통해 기울기를 추정함으로써, 결정론적 및 리프시츠 기울기를 갖는 함수에 대해 최적의 질의 복잡도를 달성하며, 스 tochastic 밴딧 환경에서 두 점 기반 ZO 성능을 재현한다.

ABSTRACT

Many existing zeroth-order optimization (ZO) algorithms adopt two-point feedback schemes due to their fast convergence rate compared to one-point feedback schemes. However, two-point schemes require two evaluations of the objective function at each iteration, which can be impractical in applications where the data are not all available a priori, e.g., in online optimization. In this paper, we propose a novel one-point feedback scheme that queries the function value only once at each iteration and estimates the gradient using the residual between two consecutive feedback points. When optimizing a deterministic Lipschitz function, we show that the query complexity of ZO with the proposed one-point residual feedback matches that of ZO with the existing two-point feedback schemes. Moreover, the query complexity of the proposed algorithm can be improved when the objective function has Lipschitz gradient. Then, for stochastic bandit optimization problems, we show that ZO with one-point residual feedback achieves the same convergence rate as that of ZO with two-point feedback with uncontrollable data samples. We demonstrate the effectiveness of the proposed one-point residual feedback via extensive numerical experiments.

연구 동기 및 목표

• 전체 데이터 접근이 불가능한 온라인 또는 스트리밍 최적화 환경에서 두 점 피드백의 비현실성 해결.
• 일반적으로 두 점 기반 방법보다 뒤처지는 일점 영차수 최적화의 수렴 속도 향상.
• 각 반복에서 함수 평가를 하나로 줄이며, 두 점 기반 ZO 방법과 비교할 만한 질의 복잡도 달성.
• 제안된 방법을 스 tochastic 밴딧 최적화에 확장하고, 통제할 수 없는 데이터 샘플 하에서의 강건성 입증.

제안 방법

• 각 반복에서 목적 함수를 한 번만 쿼리하는 일점 피드백 체계 도입으로, 두 번의 평가가 필요 없도록 함.
• 연속된 반복점들의 함수 값 간 잔차(차이)를 사용해 기울기 방향을 근사적으로 추정.
• 목적 함수의 리프시츠 연속성을 활용해 추정 오차를 제한하고 수렴 보장.
• 결정론적 및 리프시츠 기울기를 갖는 함수에 대해 이론적 질의 복잡도 경계 유도하여, 두 점 기반 ZO 방법과 동등함을 입증.
• 통제할 수 없는 데이터 샘플이 존재하는 스 tochastic 밴딧 환경에서 잔차 피드백 메커니즘 적응.
• 이론적 분석을 통해 동일 조건 하에서 두 점 기반 ZO와 동일한 수렴 속도를 달성함을 증명.

실험 결과

연구 질문

• RQ1 각 반복에서 단일 함수 평가만을 사용하는 일점 영차수 최적화 체계가, 두 점 기반 ZO 방법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 결정론적 및 리프시츠 기울기 조건 하에서, 잔차 피드백 메커니즘이 일점 ZO의 기울기 추정 정확도를 어떻게 향상시키는가?
• RQ3 결정론적 및 매끄러운 목적 함수에 대해 제안된 일점 잔차 피드백 방법의 질의 복잡도는 무엇인가?
• RQ4 제안된 방법이 통제할 수 없는 데이터 샘플이 존재하는 스 tochastic 밴딧 최적화에서 두 점 기반 ZO와 동일한 수렴 속도를 유지하는가?

주요 결과

• 제안된 일점 잔차 피드백 방법은 결정론적 리프시츠 함수에 대해 두 점 기반 ZO 방법과 동일한 질의 복잡도를 달성한다.
• 리프시츠 기울기를 갖는 함수에 대해서는, 기존의 일점 ZO보다 제안된 방법의 질의 복잡도를 추가로 향상시킬 수 있다.
• 스 tochastic 밴딧 최적화 환경에서, 각 반복에서 단일 함수 평가만을 사용함에도 불구하고, 두 점 기반 ZO의 수렴 속도를 재현한다.
• 수치 실험을 통해 제안된 방법이 기존 일점 ZO 접근보다 효과적이고 실용적으로 뛰어남을 확인한다.