[논문 리뷰] Online Learning with Feedback Graphs: Beyond Bandits

Noga Alon, Nicolò Cesa‐Bianchi외 2명|arXiv (Cornell University)|2015. 02. 26.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 55

한 줄 요약

이 논문은 피드백 그래프를 갖는 온라인 학습을 위한 통합 프레임워크를 제안하며, 이를 강하게 관측 가능, 약하게 관측 가능, 관측 불가능 유형으로 분류한다. 각각에 대해 $ʹ(α^{1/2}T^{1/2})$, $ʹ(δ^{1/3}T^{2/3})$, 선형 최소화 오차 경계를 수립하여 그래프 구조가 학습의 어려움을 어떻게 결정하는지 밝히며, 시간에 따라 변하는 피드백 그래프로의 확장을 통해 정보 제공 여부에 따라 다른 오차 행동을 보이는 것을 밝힌다.

ABSTRACT

We study a general class of online learning problems where the feedback is specified by a graph. This class includes online prediction with expert advice and the multi-armed bandit problem, but also several learning problems where the online player does not necessarily observe his own loss. We analyze how the structure of the feedback graph controls the inherent difficulty of the induced $T$-round learning problem. Specifically, we show that any feedback graph belongs to one of three classes: strongly observable graphs, weakly observable graphs, and unobservable graphs. We prove that the first class induces learning problems with $\widetildeΘ(α^{1/2} T^{1/2})$ minimax regret, where $α$ is the independence number of the underlying graph; the second class induces problems with $\widetildeΘ(δ^{1/3}T^{2/3})$ minimax regret, where $δ$ is the domination number of a certain portion of the graph; and the third class induces problems with linear minimax regret. Our results subsume much of the previous work on learning with feedback graphs and reveal new connections to partial monitoring games. We also show how the regret is affected if the graphs are allowed to vary with time.

연구 동기 및 목표

• 피드백 그래프의 구조가 온라인 학습 문제의 본질적 어려움을 어떻게 결정하는지 이해하기 위해.
• 피드백 그래프를 강하게 관측 가능, 약하게 관측 가능, 관측 불가능으로 세 가지 유형으로 분류하기 위해, 그 구조적 성질에 기반한다.
• 각 유형에 대해 날카운 최소화 오차 경계를 유도하여 독립 수 $α$와 지배 수 $δ$가 성능을 어떻게 규정하는지 보여주기 위해.
• 시간에 따라 변하는 피드백 그래프가 오차에 미치는 영향을 분석하여, 정보 제공 여부에 따라 관측 모델이 다를 때의 오차 행동을 구분하기 위해.
• 온라인 학습에서 피드백 그래프와 부분 모니터링 게임 간의 연결 고리를 드러내기 위해.

제안 방법

• 저자들은 피드백 그래프를 방향 그래프로 정의하며, 간선이 행동 선택 후 어떤 손실이 관측되는지를 나타낸다.
• 관측 가능성에 기반해 그래프를 분류한다: 모든 정점이 자신으로부터 경로를 통해 도달 가능한 경우 강하게 관측 가능; 모든 정점가 관측 가능하지만 반드시 자기 자신을 관측하지는 않는 경우 약하게 관측 가능; 그 외의 경우 관측 불가능.
• 강하게 관측 가능한 그래프의 경우, 독립 수 $α$를 고려한 수정된 지수 가중치 알고리즘을 사용하여 오차가 $ʹ(\alpha^{1/2}T^{1/2})$ 이내로 제한됨을 보였다.
• 약하게 관측 가능한 그래프의 경우, 시간에 따라 변하는 탐색 집합 $D_t$를 사용하는 이중 단계 전략을 도입하여, $\delta$가 가장 작은 약하게 지배 집합일 때 $ʹ(\delta^{1/3}T^{2/3})$ 오차를 달성한다.
• 시간에 따라 변하는 그래프에 대해 알고리즘을 적응시키기 위해, 이웃 정점 정의와 탐색 집합을 라운드별로 갱신하며, 그래프가 사전에 알려져 있는지(정보 제공 모델) 또는 행동 선택 후에 알려지는지(비정보 제공 모델)에 따라 다르게 처리한다.
• 상한과 하한 경계를 통해 날카운 오차 경계를 증명하였으며, 비정보 제공 모델의 약하게 관측 가능한 경우에 대해 새로운 하한 경계 $Ω(K^{1/3}T^{2/3})$ 를 도출하였다.

실험 결과

연구 질문

• RQ1 피드백 그래프의 구조가 온라인 학습에서 최소화 오차에 어떤 영향을 미치는가?
• RQ2 강하게 관측 가능, 약하게 관측 가능, 관측 불가능 피드백 그래프는 학습 가능성 측면에서 무엇으로 구분되는가?
• RQ3 독립 수 $α$와 지배 수 $δ$와 같은 그래프 매개변수로 최소화 오차를 경계할 수 있는가?
• RQ4 피드백 그래프 관측 시점(정보 제공 여부)이 시간에 따라 변하는 설정에서 최소화 오차에 어떤 영향을 미치는가?
• RQ5 자기 자신에 대한 손실을 관측하지 못할 경우, 탐색과 관측 사이의 기본적인 트레이드오프는 어떻게 되는가?

주요 결과

• 강하게 관측 가능한 그래프의 최소화 오차는 $ʹ(\alpha^{1/2}T^{1/2})$ 이며, $α$는 피드백 그래프의 독립 수이다.
• 약하게 관측 가능한 그래프의 최소화 오차는 $ʹ(\delta^{1/3}T^{2/3})$ 이며, $δ$는 가장 작은 약하게 지배 집합의 크기이다.
• 관측 불가능 그래프에서는 선형 최소화 오차가 발생하여, 이러한 피드백 구조에서는 학습이 본질적으로 불가능하다는 것을 시사한다.
• 시간에 따라 변하는 약하게 관측 가능한 그래프에서 정보 제공 모델의 경우, 오차 경계는 $ʹ\left(\left(\frac{1}{T}\sum_{t=1}^T \delta_t\right)^{1/3} T^{2/3}\right)$ 로 스케일링된다.
• 시간에 따라 변하는 약하게 관측 가능한 그래프에서 비정보 제공 모델의 경우, 최소화 오차는 $ʹ(K^{1/3}T^{2/3})$ 로 증가하며, 이는 날카운 경계이며 하한 $ω(\frac{1}{16}K^{1/3}T^{2/3})$ 와 일치한다.
• 자기 자신에 대한 손실을 관측하지 못하는 것(즉, 자기 자신을 관측하지 못함)이 오차를 크게 증가시킬 수 있으며, 특히 비정보 제공 모델에서 플레이어가 어떤 행동이 목표 행동의 손실을 드러내는지 추측해야 하는 상황에서 그러한 영향이 두드러진다.