[논문 리뷰] A gradient estimator via L1-randomization for online zero-order optimization with two point feedback

Arya Akhavan, Evgenii Chzhen외 2명|arXiv (Cornell University)|2022. 05. 27.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 두점 피드백을 갖는 온라인 제로오더 최적화를 위한 새로운 L1-랜덤화 기반 그래디언트 추정기와 함께, 볼록이고 리프시츠 조건을 만족하는 설정에서 개선된 리그레트 한계를 도출한다. 이 방법은 알려지지 않은 문제 파라미터(차원, 리프시츠 상수 등)에 적응하는 데이터 기반 성능을 달성하며, 기존 최상의 성능에 맞추거나 초월한다. 특히 ℓ₁-노름 리프시츠 가정 하에서 √log(d) 요소로 속도가 향상되고, 노이즈를 상쇄함으로써 성능이 향상된다.

ABSTRACT

This work studies online zero-order optimization of convex and Lipschitz functions. We present a novel gradient estimator based on two function evaluations and randomization on the $\ell_1$-sphere. Considering different geometries of feasible sets and Lipschitz assumptions we analyse online dual averaging algorithm with our estimator in place of the usual gradient. We consider two types of assumptions on the noise of the zero-order oracle: canceling noise and adversarial noise. We provide an anytime and completely data-driven algorithm, which is adaptive to all parameters of the problem. In the case of canceling noise that was previously studied in the literature, our guarantees are either comparable or better than state-of-the-art bounds obtained by Duchi et al. (2015) and Shamir (2017) for non-adaptive algorithms. Our analysis is based on deriving a new weighted Poincaré type inequality for the uniform measure on the $\ell_1$-sphere with explicit constants, which may be of independent interest.

연구 동기 및 목표

• 기울기가 아닌 함수 값(노이즈가 첨가된 상태)만 이용 가능한 온라인 제로오더 최적화의 과제를 해결한다.
• 이전 방법들이 ℓ₂ 또는 ℓ∞-랜덤라이제이션에 의존하는 데 반해, ℓ₁-구면을 기반으로 한 그래디언트 추정기를 도입함으로써 그 한계를 극복한다.
• 모르는 문제 파라미터(예: 차원, 리프시츠 상수)에 적응하는 임의의 시점에서의 데이터 기반 알고리즘을 개발한다.
• 노이즈가 상쇄되는 경우(노이즈 항목이 상쇄됨)와 악성 노이즈(최악의 경우 노이즈)의 두 가지 설정에서 성능을 분석한다.
• 기존의 한계를 초월하는 이론적 보장을 확립하며, 특히 ℓ₁-노름 설정에서 개선된 결과를 도출하고, ℓ₁-구면에 대한 새로운 파인카레 유형 부등식을 유도한다.

제안 방법

• ℓ₁-구면 위에 균일하게 분포하는 랜덤 벡터를 사용하여 두점 피드백 기반 그래디언트 추정기를 제안함으로써, 하위기울기의 비편향 추정을 가능하게 한다.
• 온라인 이중 평균(ODA) 프레임워크에 추정기를 통합하여, 볼록하고 리프시츠 조건을 만족하는 설정에서 누적 리그레트를 최소화한다.
• ℓ₁-구면 위의 균일 측도에 대해 가중치가 부여된 파인카레 유형 부등식을 사용하여 분산을 제어하고 정밀한 농도 한계를 도출한다.
• 관측된 함수 값에 기반하여 스텝 사이즈를 조정하는 적응형 알고리즘을 설계하여, 문제 파라미터의 사전 지식이 필요 없도록 한다.
• 관측된 노이즈와 함수 변동성에 따라 동적으로 조정되는 새로운 매개변수화 전략을 활용하여, 언제나 성능을 보장하는 알고리즘을 확보한다.
• 노이즈가 상쇄되는 경우와 악성 노이즈의 두 모델을 분석하여, 알고리즘이 두 경우 모두 강력한 리그레트 보장을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 ℓ₁-랜덤라이제이션 기반 그래디언트 추정기는 기존의 ℓ₂ 또는 ℓ∞-기반 추정기보다 온라인 제로오더 최적화에서 더 우수한 성능을 보일 수 있는가?
• RQ2 ℓ₁-노름 리프시츠 조건과 노이즈 상쇄 조건 하에서 두점 피드백 설정에서 달성 가능한 최적의 리그레트 속도는 무엇인가?
• RQ3 모르는 차원, 리프시츠 상수, 노이즈 수준에 대해 사전 지식 없이도 잘 작동하는 적응형 데이터 기반 알고리즘을 구성할 수 있는가?
• RQ4 제안된 추정기는 악성 노이즈 하에서도 강건한가? 그리고 노이즈 상쇄 경우와 비교해 리그레트 속도는 어떻게 되는가?
• RQ5 ℓ₁-구면 위의 균일 측도에 대해 명시적인 상수를 갖는 새로운 파인카레 유형 부등식을 도출할 수 있으며, 이는 제로오더 최적화 분석에 유용한가?

주요 결과

• 제안된 L1-랜덤라이제이션 그래디언트 추정기는 목표 함수가 ℓ₁-리프시츠 조건을 만족하고 가능 영역이 단형태일 경우, 이전 연구 대비 √log(d) 요소로 리그레트 한계가 향상된다.
• ℓ₂-리프시츠 함수의 경우, Shamir(2017)의 최상의 결과와 절대 상수의 오차 내에서 일치하며, 차원에 대한 의존성도 명시적으로 제어할 수 있다.
• 노이즈 상쇄 조건 하에서, q = 2일 경우 리그레트 속도는 O(√(T log d))이며, q = 1일 경우 log(d) 요소의 오차 내에서 O(√(T log d))를 달성하여 알려진 하한선과 일치한다.
• 적응형 알고리즘의 성능은 노이즈 상쇄 조건 하에서는 비적응형 알고리즘과 유사하며, 악성 노이즈 조건 하에서는 약간 떨어지지만 여전히 우수한 성능을 보인다.
• 논문은 ℓ₁-구면 위의 균일 측도에 대해 명시적인 상수를 갖는 새로운 가중치 파인카레 부등식을 도출하였으며, 이는 핵심 기술 기여이며 더 넓은 응용 가능성을 지닌다.
• 악성 노이즈 조건 하에서는 리그레트 속도가 O(T^{3/4})이며, 이는 이 설정에서 적응형이고 데이터 기반인 알고리즘에 대해 처음으로 제시된 보장이지만, 최적성은 아직 미해결이다.