[논문 리뷰] Online Learning with Switching Costs and Other Adaptive Adversaries

Nicolò Cesa‐Bianchi, Ofer Dekel외 1명|arXiv (Cornell University)|2013. 02. 18.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 53

한 줄 요약

이 논문은 플레이어의 과거 행동에 반응하는 적응형 적대자 아래에서 온라인 학습을 연구하며, 이러한 적응성을 더 잘 반영하는 새로운 리그레트 개념인 '정책 리그레트(policy regret)'를 도입한다. 전환 비용이 존재할 경우, 밴딧 피드백에서는 $\widetilde{\Theta}(T^{2/3})$의 리그레트 비율을 보이며, 이는 전체 정보 상황에서의 $\Theta(\sqrt{T})$ 비율보다 훨씬 열 劣하다. 또한 유한 기억을 가진 적대자가 전체 정보 상황에서도 동일한 $T^{2/3}$ 비율을 유도할 수 있음을 보여, 전환 비용은 기억 제약보다 더 잘 제어 가능하다는 것을 증명한다.

ABSTRACT

We study the power of different types of adaptive (nonoblivious) adversaries in the setting of prediction with expert advice, under both full-information and bandit feedback. We measure the player's performance using a new notion of regret, also known as policy regret, which better captures the adversary's adaptiveness to the player's behavior. In a setting where losses are allowed to drift, we characterize ---in a nearly complete manner--- the power of adaptive adversaries with bounded memories and switching costs. In particular, we show that with switching costs, the attainable rate with bandit feedback is $\widetildeΘ(T^{2/3})$. Interestingly, this rate is significantly worse than the $Θ(\sqrt{T})$ rate attainable with switching costs in the full-information case. Via a novel reduction from experts to bandits, we also show that a bounded memory adversary can force $\widetildeΘ(T^{2/3})$ regret even in the full information case, proving that switching costs are easier to control than bounded memory adversaries. Our lower bounds rely on a new stochastic adversary strategy that generates loss processes with strong dependencies.

연구 동기 및 목표

• 플레이어의 과거 행동에 반응하는 적대자들이 온라인 학습에서 전문가 조언을 제공할 때의 능력을 분석하는 것.
• 적응형 적대자와의 성능 평가에 적합한 새로운 리그레트 측정법인 '정책 리그레트'를 도입하고 체계화하는 것.
• 전체 정보 및 밴딧 피드백 환경에서 전환 비용과 유한 기억을 가진 적대자 하에서 달성 가능한 리그레트 비율을 규명하는 것.
• 전환 비용은 기억 제약보다 덜 해로운 것으로 보여, 전체 정보 상황에서도 동일한 $T^{2/3}$ 리그레트 비율을 강제로 유도할 수 있음을 보여주는 것.

제안 방법

• 플레이어의 누적 손실과 시간이 지남에 따라 최고의 고정된 행동의 누적 손실 간의 차이로 정의된 정책 리그레트를 도입한다.
• 유한 기억과 전환 비용이 있는 적응형 적대자를 분석하며, 손실 함수를 과거 기록에 의존하는 방식으로 모델링한다.
• 유한 기억 적대자가 전체 정보 상황에서도 $\widetilde{\Theta}(T^{2/3})$ 리그레트를 강제로 유도할 수 있음을 보여주기 위해 전문가 문제에서 밴딧 문제로의 새로운 감소 기법을 개발한다.
• 두 단계 전략을 활용한다: 손실을 추정하기 위해 잘 분리된 시간 포인트를 통한 탐색, 그리고 무관한 손실 추정치를 사용한 헤지 알고리즘을 통한 리그레트 상한 설정.
• 탐색 단계의 마진 분포를 균일하게 유지하고 경계 효과를 방지하기 위해 시간 포인트를 원형으로 배열한다.
• 에포크로 분해하여 리그레트 상한을 유도하며, 추정된 손실에 대해 알려진 헤지 리그레트 상한을 적용하고, 에포크 수 $J$에 대해 최적화한다.

실험 결과

연구 질문

• RQ1 적대자가 플레이어의 과거 행동에 기반해 적응하는 상황에서, 특히 전환 비용이 존재할 경우 온라인 학습에서 달성 가능한 최적 리그레트 비율은 무엇인가?
• RQ2 적응형 적대자와 전환 비용이 존재할 경우, 전체 정보 상황과 밴딧 피드백 상황 간 리그레트 비율의 차이는 어떻게 되는가?
• RQ3 유한 기억 적대자가 전체 정보 상황에서도 더 높은 리그레트 비율을 강제로 유도할 수 있는가?
• RQ4 온라인 학습에서 전환 비용을 제어하는 것과 유한 기억 적대자를 제어하는 것 사이에 본질적인 차이가 존재하는가?
• RQ5 제한된 피드백 하에서 적응형 적대자에 대해 날카로운 리그레트 상한을 달성하기 위해 어떤 새로운 기법이 필요한가?

주요 결과

• 전환 비용과 밴딧 피드백 하에서는 최적 리그레트 비율이 $\widetilde{\Theta}(T^{2/3})$이며, 이는 전체 정보 상황의 $\Theta(\sqrt{T})$ 비율보다 훨씬 열 劣하다.
• 동일한 $\widetilde{\Theta}(T^{2/3})$ 리그레트 비율은 전체 정보 상황에서도 유한 기억 적대자가 강제로 유도할 수 있으며, 이는 유한 기억이 전환 비용보다 더 강력한 제약임을 증명한다.
• 강력한 의존성을 가진 손실 과정을 생성하는 새로운 스토케스틱 적대자 전략을 도입하여 날카로운 하한을 확보한다.
• 적응형 적대자 하에서 전체 정보에서의 리그레트 상한을 밴딧 피드백으로 이전할 수 있도록 하는 전문가에서 밴딧으로의 감소 기법을 구축한다.
• 원형 시간 포인트 배열을 통해 탐색 분포를 균일하게 유지함으로써 경계 효과를 제거하고 유효한 손실 추정을 가능하게 한다.
• 에포크 수 $J \sim T^{2/3}$에 대해 최적화함으로써 최종 리그레트 상한이 $\widetilde{\Theta}(T^{2/3})$ 비율에 도달하며, 이는 결과의 날카로움을 확인한다.