[논문 리뷰] Tracking Slowly Moving Clairvoyant: Optimal Dynamic Regret of Online Learning with True and Noisy Gradient

Tianbao Yang, Lijun Zhang외 2명|arXiv (Cornell University)|2016. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 71

한 줄 요약

이 논문은 경로 변화량(path variation)을 최적의 결정이 시간에 따라 얼마나 천천가게 변화하는지 측정하는 척도로 도입함으로써, 진짜 및 노이즈가 있는 기울기 피드백 하에서 온라인 볼록 최적화의 최적 동적 위험 경계를 확립한다. 제안된 알고리즘은 유도된 하한선과 일치하는 최소최대 최적 동적 위험 경계를 달성하며, 특히 두점 보상 피드백 하에서 미분 가능 손실 함수에 대해서도 성능이 우수함을 보여주어, 유리한 설정에서는 보상 피드백이 전체 정보 피드백과 동일한 성능을 낼 수 있음을 입증한다.

ABSTRACT

This work focuses on dynamic regret of online convex optimization that compares the performance of online learning to a clairvoyant who knows the sequence of loss functions in advance and hence selects the minimizer of the loss function at each step. By assuming that the clairvoyant moves slowly (i.e., the minimizers change slowly), we present several improved variation-based upper bounds of the dynamic regret under the true and noisy gradient feedback, which are {\\it optimal} in light of the presented lower bounds. The key to our analysis is to explore a regularity metric that measures the temporal changes in the clairvoyant's minimizers, to which we refer as {\\it path variation}. Firstly, we present a general lower bound in terms of the path variation, and then show that under full information or gradient feedback we are able to achieve an optimal dynamic regret. Secondly, we present a lower bound with noisy gradient feedback and then show that we can achieve optimal dynamic regrets under a stochastic gradient feedback and two-point bandit feedback. Moreover, for a sequence of smooth loss functions that admit a small variation in the gradients, our dynamic regret under the two-point bandit feedback matches what is achieved with full information.

연구 동기 및 목표

• 최적의 결정이 시간에 따라 천천가게 변화할 때 동적 위험 경계를 더욱 날카롭게 개선하기 위해 노력한다.
• 진짜, 노이즈가 있는, 또는 보상 피드백의 기울기 피드백 품질이 동적 위험 성능에 미치는 영향을 분석한다.
• 핵심 정규성 척도로 경로 변화량을 도입하여 최소최대 최적 위험 경계를 수립한다.
• 다양한 피드백 모델 하에서 기존 상한선과 이론적 하한선 사이의 격차를 메운다.
• 두점 보상 피드백이 부드러운 손실 함수에 대해 전체 정보 피드백과 비교할 만한 성능을 달성할 수 있는지 보여준다.

제안 방법

• 최적의 결정 시퀀스 $\mathbf{w}_{t}^{*}$ 의 시간적 변화를 측정하기 위해 경로 변화량 $V^{p}_{T}$ 를 도입한다.
• 경로 변화량 $V^{p}_{T}$ 에만 의존하는 동적 위험에 대한 일반적인 하한선을 유도하여 이론적 한계를 설정한다.
• 진짜 기울기 피드백에 적합한 적응형 스텝 크기를 가진 수정된 온라인 기울기 하강법(OGD)을 제안하여 부드러운 함수에 대해 $O(V^{p}_{T})$ 위험을 달성한다.
• Chiang 등 (2013) 의 META 알고리즘에 기반한 두점 보상 피드백 알고리즘을 설계하여 방향성 편향을 사용해 기울기를 추정한다.
• 노이즈가 있는 피드백 설정에서 분산을 제어하기 위해 유한한 노름 $\|\hat{\mathbf{g}}_{t}\|_{2} \leq Gd$ 을 가지는 확률적 기울기 추정기를 사용한다.
• 안정성 확보와 수렴성 향상을 위해 수축하는 가능 영역 $\Pi_{(1-\xi)\Omega}$ 에로 투영을 적용한다.

실험 결과

연구 질문

• RQ1 진짜 기울기 피드백 하에서 경로 변화량 $V^{p}_{T}$ 에 따라 최적의 동적 위험 경계는 무엇인가?
• RQ2 노이즈가 있는 기울기 피드백은 동적 위험에 어떤 영향을 미치며, 이를 최적화할 수 있는가?
• RQ3 두점 보상 피드백이 전체 정보 피드백과 비교해 유사한 위험 성능을 달성할 수 있는가?
• RQ4 작은 기울기 변화를 보이는 부드러운 손실 함수에 대해 동적 위험 경계는 무엇인가?
• RQ5 제안된 상한선은 유도된 하한선과 타당한가?

주요 결과

• 논문은 경로 변화량 $V^{p}_{T}$ 에만 의존하는 동적 위험에 대한 일반적인 하한선을 확립하여, 추가적인 가정 없이 $O(V^{p}_{T})$ 가 가능한 최선의 경계임을 보여준다.
• 가능 영역 내에서 기울기가 점점 줄어드는 부드러운 손실 함수에 대해, 제안된 알고리즘은 진짜 기울기 피드백 하에서 $O(V^{p}_{T})$ 동적 위험을 달성하며, 이는 하한선과 일치하여 최적이 된다.
• 두점 보상 피드백 하에서는 동적 위험가 $O(\max(\sqrt{V^{p}_{T}V^{g}_{T}}, V^{p}_{T}))$ 로 경계되며, $V^{g}_{T}$ 가 작을 경우 하한선과 일치하여 최적이 됨을 입증한다.
• 리프시츠 연속 손실 함수에 대해 보상 피드백 알고리즘은 $O(\sqrt{V^{p}_{T}T})$ 위험을 달성하며, 이는 순서적으로 확률적 기울기 피드백의 성능과 일치한다.
• 부드러운 함수에 대한 보상 피드백 하에서의 동적 위험 경계는 $O(\max(d^{2}\sqrt{S_{T}\max(B_{T},1)}, d^{3/2}\max(B_{T},1)})$ 로 표현되며, $V^{p}_{T}$ 가 지배적일 경우 하한선과 일치한다.
• 결과적으로 두점 보상 피드백가 부드러운 함수에 대해 전체 정보 피드백과 동일한 순서의 위험을 달성할 수 있음을 보여주며, 경로 변화 정규성 조건 하에서는 보상 피드백가 본질적으로 열 劣하지 않음을 입증한다.