[논문 리뷰] Non-stationary Linear Bandits Revisited.

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|2021. 03. 09.

Advanced Bandit Algorithms Research참고 문헌 6인용 수 7

한 줄 요약

이 논문은 이전 연구에서 비정상적인 선형 밴디트의 분석에 대한 핵심 기술적 결함을 밝혀내며, 이는 동적 리그레트가 $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$임을 주장한 바 있다. 저자들은 분석을 수정하고 기존 알고리즘을 수정하지 않고도 $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$의 재정비된 리그레트 한계를 확립한다. 또한, 핵심 분석 양상에 대한 불가능성 결과를 증명하고, 밴디트-오버-밴디트 메커니즘을 통해 파rameter-free 적응을 가능하게 한다.

ABSTRACT

In this note, we revisit non-stationary linear bandits, a variant of stochastic linear bandits with a time-varying underlying regression parameter. Existing studies develop various algorithms and show that they enjoy an $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ dynamic regret, where $T$ is the time horizon and $P_T$ is the path-length that measures the fluctuation of the evolving unknown parameter. However, we discover that a serious technical flaw makes the argument ungrounded. We revisit the analysis and present a fix. Without modifying original algorithms, we can prove an $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ dynamic regret for these algorithms, slightly worse than the rate as was anticipated. We also show some impossibility results for the key quantity concerned in the regret analysis. Note that the above dynamic regret guarantee requires an oracle knowledge of the path-length $P_T$. Combining the bandit-over-bandit mechanism, we can also achieve the same guarantee in a parameter-free way.

연구 동기 및 목표

• 이전 연구에서 제시된 비정상적인 선형 밴디트의 리그레트 분석에 대한 근본적인 기술적 결함을 규명하고 수정하는 것.
• 수정된 프레임워크 하에서 기존 알고리즘을 재분석하고 더 낫고 타당한 동적 리그레트 한계를 도출하는 것.
• 기존 리그레트 분석에서 사용된 일부 핵심 양상에 대한 불가능성 결과를 설정하는 것.
• 밴디트-오버-밴디트 메커니즘을 통해 파rameter-free 설정으로 리그레트 보장을 확장하는 것.

제안 방법

• 기존 분석의 결함을 해결하기 위해 수정된 농도 불등식을 사용하여 리그레트 분해를 재표현하는 것.
• 리그레트의 추정 오차 및 추적 오차 성분을 정교하게 분석하여 $T^{3/4}$ 의존성을 이끌어내는 것.
• 이전 연구에서 가정된 바에 따라 특정 비최적성 측정치의 존재에 대한 불가능성 결과를 증명하는 것.
• 패스 길이 $P_T$ 의 오라클 지식이 필요 없도록 밴디트-오버-밴디트 메커니즘을 적용하는 것.
• 기존 알고리즘을 그대로 유지하면서 수정된 이론적 분석을 통해 새로운 리그레트 한계를 증명하는 것.

실험 결과

연구 질문

• RQ1 기존 비정상적인 선형 밴디트 알고리즘의 올바른 동적 리그레트 한계는 기존 분석의 기술적 결함를 수정한 후 어떻게 되는가?
• RQ2 수정된 분석 하에서 기존 알고리즘이 $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ 보다 더 나은 리그레트 속도를 달성할 수 있는가?
• RQ3 불가능성 결과가 시사하는 바에 따르면, 리그레트 분해에서 사용된 일부 핵심 양상에 기초한 제약 조건이 본질적으로 존재하는가?
• RQ4 패스 길이 $P_T$ 의 오라클 지식이 필요 없이 동일한 리그레트 보장을 달성하는 것이 가능한가?

주요 결과

• 기존 연구에서 주장한 $\widetilde{O}(T^{2/3}(1+P_T)^{1/3})$ 동적 리그레트는 분석의 기술적 결함로 인해 타당하지 않다.
• 수정된 분석을 통해 기존 알고리즘에 수정 없이도 $\widetilde{O}(T^{3/4}(1+P_T)^{1/4})$ 의 동적 리그레트 한계가 확립된다.
• 이전 분석에서 유한하다고 가정된 일부 핵심 양상에 대해 불가능성 결과가 증명된다.
• 밴디트-오버-밴디트 메커니즘을 통해 $P_T$ 의 오라클 지식이 필요 없이 파rameter-free 형태의 리그레트 보장을 달성할 수 있다.