[논문 리뷰] Online non-convex optimization with imperfect feedback

Amélie Héliou, Matthieu Martin외 2명|arXiv (Cornell University)|2020. 10. 16.

Advanced Bandit Algorithms Research참고 문헌 47인용 수 5

한 줄 요약

이 논문은 손실 함수의 모델이나 실현된 손실 값이 정확하지 않은 불완전한 피드백 하에서 온라인 비볼록 최적화를 위한 이중 평균 기반 혼합 전략 학습 정책을 제안한다. 학습자는 손실 함수의 근사 모델이나 실현된 손실 값만 관측한다. 이는 조건부 피드백 조건에서도 정적 리그레트의 엄밀한 $Ó(T^{1/2})$ 및 동적 리그레트의 엄밀한 $Ó(T^{2/3}V_T^{1/3})$ 경계를 확립하며, 커널 기반 손실 추정을 통해 벤디트 피드백 환경에서도 가능하다. 이는 손실 함수의 명시적 모델 없이 헤지 유사 알고리즘을 벤디트 환경으로 확장할 수 있는지에 대한 열린 질문을 해결한다.

ABSTRACT

We consider the problem of online learning with non-convex losses. In terms of feedback, we assume that the learner observes - or otherwise constructs - an inexact model for the loss function encountered at each stage, and we propose a mixed-strategy learning policy based on dual averaging. In this general context, we derive a series of tight regret minimization guarantees, both for the learner's static (external) regret, as well as the regret incurred against the best dynamic policy in hindsight. Subsequently, we apply this general template to the case where the learner only has access to the actual loss incurred at each stage of the process. This is achieved by means of a kernel-based estimator which generates an inexact model for each round's loss function using only the learner's realized losses as input.

연구 동기 및 목표

• 이전 방법들이 정확한 손실 모델을 가정하는 바탕에서, 불완전한 피드백 하에서의 온라인 비볼록 최적화의 격차를 메우기 위해.
• 실제로 관측된 손실 값만 제공되는 환경으로 헤지 및 FTPL과 같은 랜덤화 알고리즘을 일반화하기 위해.
• 비볼록 설정에서 손실 함수가 정확하지 않거나, 또는 벤디트 피드백인 경우에도 정적 및 동적 리그레트 경계를 엄밀하게 유도하기 위해.
• 손실 함수의 명시적 모델이 없이도 헤지 유형 알고리즘이 벤디트 환경에서 비선형 리그레트를 달성할 수 있는지에 대한 열린 질문을 해결하기 위해.

제안 방법

• 정확하지 않은 손실 모델에 기반한 이중 평균 기반의 일반적인 알고리즘 템플릿을 제안하여, 비볼록 온라인 학습에서 리그레트 최소화를 가능하게 한다.
• 각 라운드에서 학습자가 관측한 실현된 손실 값만을 사용하여 손실 함수의 근사 모델을 구성하는 커널 기반 추정기를 도입한다.
• 이중 평균 프레임워크를 벤디트 피드백에 적용하기 위해 이전의 실현된 손실 값에서 손실 모델을 구성함으로써 명시적 함수 커버리지가 필요 없도록 한다.
• 창문 전략, 정규화 파라미터, 손실 모델 오차율 간의 상호작용을 분석하여 리그레트 경계를 유도한다.
• 탐색과 이용의 균형을 맞추기 위해 가변 파라미터를 사용하는 시간 창문 기반 분석을 적용하여 누적 리그레트를 최소화한다.
• 지수 가중치와 이중 평균을 조합한 혼합 전략 정책을 활용하여 최적의 리그레트 스케일링을 달성한다.

실험 결과

연구 질문

• RQ1 정확하지 않거나 부분적인 피드백만 제공되는 비볼록 설정에서, 무작위 온라인 학습 알고리즘이 비선형 리그레트를 달성할 수 있는가?
• RQ2 손실 함수의 명시적 모델이 없이도 헤지 유형 알고리즘을 벤디트 피드백 환경으로 확장할 수 있는가?
• RQ3 손실 함수가 비볼록이고 실현된 손실 값만 관측 가능한 불완전한 피드백 하에서 어떤 리그레트 경계를 달성할 수 있는가?
• RQ4 비볼록 온라인 최적화에서 커널 기반 손실 추정법과 격자 기반 유한 무기 벤디트 방법 간의 성능 비교는 어떻게 되는가?
• RQ5 불완전한 피드백 하에서 온라인 비볼록 최적화의 탐색, 정규화, 모델 오차 간 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 이중 평균 프레임워크는 정확하지 않은 손실 모델 하에서 $Ó(T^{1/2})$ 정적 리그레트를 달성하며, 이는 볼록 설정에서의 최적 속도와 일치한다.
• 동적 리그레트의 경우, 일반적인 손실 모델 오차 가정 하에서 $Ó(T^{2/3}V_T^{1/3})$를 달성하며, $V_T$는 최적 정책의 변동성을 측정한다.
• 실제로 관측된 손실 값만 제공되는 경우, 커널 기반 추정기는 정확한 모델이 있는 경우와 동일한 $Ó(T^{1/2})$ 정적 리그레트 및 $Ó(T^{2/3}V_T^{1/3})$ 동적 리그레트 경계를 달성한다.
• 수치 실험 결과, 커널 기반 방법은 이론적 $T^{-1/3}$ 리그레트 기울기로 수렴하는 반면, 격자 기반 방법은 유한한 리그레트로 수렴하여 더 느린 수렴을 보인다.
• 커널 방법은 격자 기반 EXP3 방법보다 훨씬 낮은 분산과 더 빠른 리그레트 감소를 보이며, 실용적 효율성을 입증한다.
• 적응형 창문 기반 및 파라미터 튜닝을 통해 이론적 리그레트 경계 $\mathbb{E}[\operatorname{DynReg}(T)] = \mathcal{O}(T^{1+n\mu+\beta-\rho} + T^{1-\beta} + T^{1-\mu} + T^{2\rho-n\mu-\beta}V_T)$ 가 달성된다.