[논문 리뷰] Online learning with feedback graphs and switching costs

Anshuka Rangi, Massimo Franceschetti|arXiv (Cornell University)|2018. 10. 23.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 5

한 줄 요약

이 논문은 피드백 그래프와 스위칭 비용이 있는 온라인 학습에 대한 기대 손실의 하한을 제시하며, 스위칭 비용이 없는 경우 최적인 표준 알고리즘이 이러한 비용이 존재할 경우에 하위최적화됨을 보여준다. 이는 대칭적 부분 정보 및 다중 암초 밴딧 설정에서 순서적으로 최적의 손실을 달성하는 두 가지 새로운 알고리즘—Threshold Based EXP3 및 EXP3.SC—을 제안한다. Threshold Based EXP3는 실험 평가에서 기존 방법들을 능가하는 성능을 보였다.

ABSTRACT

We study online learning when partial feedback information is provided following every action of the learning process, and the learner incurs switching costs for changing his actions. In this setting, the feedback information system can be represented by a graph, and previous works studied the expected regret of the learner in the case of a clique (Expert setup), or disconnected single loops (Multi-Armed Bandits (MAB)). This work provides a lower bound on the expected regret in the Partial Information (PI) setting, namely for general feedback graphs --excluding the clique. Additionally, it shows that all algorithms that are optimal without switching costs are necessarily sub-optimal in the presence of switching costs, which motivates the need to design new algorithms. We propose two new algorithms: Threshold Based EXP3 and EXP3. SC. For the two special cases of symmetric PI setting and MAB, the expected regret of both of these algorithms is order optimal in the duration of the learning process. Additionally, Threshold Based EXP3 is order optimal in the switching cost, whereas EXP3. SC is not. Finally, empirical evaluations show that Threshold Based EXP3 outperforms the previously proposed order-optimal algorithms EXP3 SET in the presence of switching costs, and Batch EXP3 in the MAB setting with switching costs.

연구 동기 및 목표

• 부분 정보(PI) 설정에서 피드백 그래프와 스위칭 비용이 있는 온라인 학습에 대한 기대 손실의 하한을 확립하기 위해.
• 스위칭 비용이 없는 경우 최적인 알고리즘이 스위칭 비용이 도입될 경우 반드시 하위최적화됨을 보여주기 위해.
• PI 설정에서 손실과 스위칭 비용을 균형 있게 조절할 수 있는 새로운 알고리즘을 설계하기 위해.
• 제안된 알고리즘의 성능을 기존 최첨단 방법들과 비교하여 실험적으로 평가하기 위해.

제안 방법

• 모든 피드백 그래프 시퀀스 G₁,…,GT에 대해 독립 수열 번호 β(G₁:T)로 표현된 기대 손실의 하한을 유도한다.
• 관측된 손실을 이용해 액션 선택을 동적으로 조정하고 손실과 스위칭 비용을 균형 있게 조절하는 Threshold Based EXP3를 제안한다.
• 스위칭 비용에 적합하게 조정된 EXP3의 변종으로, 수정된 탐색 전략을 사용하는 EXP3.SC를 도입한다.
• 시간에 따라 변하는 피드백 그래프에서 손실 한계를 특성화하기 위해 mas(G) 매개변수(최대 비순환 부분그래프 크기)를 사용한다.
• 손실 추정치와 비용 페널티를 기반으로 확률 업데이트 규칙을 수정하여 EXP3 프레임워크를 스위칭 비용을 고려하도록 적응시킨다.
• 다양한 피드백 그래프 구조와 스위칭 비용 하에서 성능을 평가하기 위해 적대적 손실 생성기를 사용한 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 피드백 그래프와 스위칭 비용이 있는 부분 정보 설정에서 온라인 학습에 대한 기대 손실의 본질적 하한은 무엇인가?
• RQ2 기존의 스위칭 비용이 없는 설정에서 순서적으로 최적인 알고리즘들이 스위칭 비용이 도입될 경우 왜 하위최적화되는가?
• RQ3 PI 설정에서 시간 T와 스위칭 비용 c에 대해 순서적으로 최적의 손실을 달성할 수 있는 새로운 알고리즘을 설계할 수 있는가?
• RQ4 스위칭 비용이 존재할 경우 Threshold Based EXP3의 성능은 EXP3.SET과 Batch EXP3에 비해 어떻게 다른가?
• RQ5 관측된 피드백 정보의 사용이 MAB 및 PI 설정에서 손실과 스위칭 비용의 트레이드오프를 상당히 향상시키는가?

주요 결과

• 스위칭 비용이 있는 PI 설정에서 어떤 알고리즘에 대해서든 기대 손실은 최소 Õ(c¹ᐟ³β(G₁:T)¹ᐟ³T²ᐟ³) 이상이 되며, 여기서 β(G₁:T)는 독립 수열 번호이다.
• Threshold Based EXP3는 시간이 일정한 PI 설정에서 Õ(c¹ᐟ³mas(G)¹ᐟ³T²ᐟ³)의 손실을 달성하며, 이는 c와 T에 대해 순서적으로 최적이다.
• EXP3.SC는 Õ(c⁴ᐟ³mas(G)²ᐟ³T²ᐟ³)의 손실을 기록하며, 하한에 비해 스위칭 비용 c에 대해 하위최적화되어 있다.
• Threshold Based EXP3는 스위칭 비용이 존재하는 PI 설정에서 EXP3.SET을 능가하며, 후자는 손실과 스위칭 횟수 모두 선형 증가를 보였다.
• MAB 설정에서는 T가 증가할수록 Threshold Based EXP3가 Batch EXP3를 능가한다. 이는 관측된 손실 정보를 효과적으로 활용하기 때문이다.
• β(G₁:T)가 감소할수록 알고리즘 간의 성능 격차가 커지며, 이는 스위칭 비용 하에서 손실을 최소화하기 위해 피드백 구조의 중요성을 강조한다.