[논문 리뷰] From Bandits to Experts: On the Value of Side-Observations

Shie Mannor, Ohad Shamir|arXiv (Cornell University)|2011. 06. 13.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 68

한 줄 요약

이 논문은 피드백 그래프를 통해 선택하지 않은 행동의 보상에 대한 측정값(측면 관측)을 허용함으로써 다중 암표 밴딧과 전문가 설정 사이를 보간하는 일반적인 온라인 학습 프레임워크를 제안한다. ExpBan과 ELP라는 두 가지 알고리즘을 제안하며, 독립 수와 클리크 분할 수와 같은 그래프 이론적 성질에 따라 증명 가능한 리그레트 한계를 제공한다. 특히 희박하거나 무작위 그래프의 경우 ELP는 더 날카운 리그레트 한계를 달성한다.

ABSTRACT

We consider an adversarial online learning setting where a decision maker can choose an action in every stage of the game. In addition to observing the reward of the chosen action, the decision maker gets side observations on the reward he would have obtained had he chosen some of the other actions. The observation structure is encoded as a graph, where node i is linked to node j if sampling i provides information on the reward of j. This setting naturally interpolates between the well-known "experts" setting, where the decision maker can view all rewards, and the multi-armed bandits setting, where the decision maker can only view the reward of the chosen action. We develop practical algorithms with provable regret guarantees, which depend on non-trivial graph-theoretic properties of the information feedback structure. We also provide partially-matching lower bounds.

연구 동기 및 목표

• 선택한 행동의 보상 외에도 다른 행동의 보상까지 관측 가능한 전문가 설정(완전한 보상 피드백)과 선택한 행동의 보상만 관측 가능한 밴딧 설정 사이를 보간하는 일반적인 온라인 학습 설정을 수학적으로 정의하고 분석하는 것.
• 측면 관측을 시간에 따라 변하는 방향성 있는 그래프로 모델링하여, 주어진 행동을 선택했을 때 어떤 선택하지 않은 행동의 보상 정보가 제공되는지를 표현하는 것.
• 피드백 구조의 비트리비얼한 그래프 이론적 성질에 따라 증명 가능한 리그레트 보장을 갖는 실용적인 알고리즘을 개발하는 것.
• 이 설정에서 리그레트에 대한 매칭 또는 거의 매칭되는 하한을 확립하는 것, 특히 무방향 및 유방향 그래프에 대해.
• ExpBan과 ELP와 같은 알고리즘 간 이론적 성능 격차가 실제로 실생활에서 관측 가능한지 실험적으로 보여주는 것.

제안 방법

• 피드백 구조는 $ G_1, \dots, G_T $의 방향성 있는 그래프 시퀀스로 표현되며, 간선 $ i \to j $는 행동 $ i $를 선택했을 때 행동 $ j $의 보상을 관측할 수 있음을 의미한다.
• ExpBan 알고리즘은 지수 가중 전략과 그래프 기반 탐색 메커니즘을 조합하며, 그래프의 클리크 분할 수를 이용해 리그레트를 제어한다.
• ELP 알고리즘은 그래프의 독립 수를 기반으로 한 새로운 접근법을 도입하여, 인접하지 않은 행동들의 구조적 특성을 활용해 더 날카운 리그레트 한계를 달성한다.
• 리그레트 한계는 온라인 볼록 최적화와 그래프 이론 기법을 사용해 유도되며, 무방향 그래프의 경우 평균 독립 수, 유방향 그래프의 경우 평균 클리크 분할 수에 의존한다.
• 기존의 악성 밴딧 설정으로의 감소를 통한 하한 확립을 통해, 그래프 구조에 대한 의존성이 정보 이론적으로 필수적임을 보여준다.
• 랜덤 에르되시-레니 그래프에서 다양한 간선 확률을 가진 환경에서 실험적으로 검증을 수행하였으며, ExpBan, ELP, 표준 EXP3 알고리즘 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 유방향 그래프로 모델링된 측면 관측 피드백의 구조가 악성 온라인 학습에서 리그레트의 기본 한계에 어떻게 영향을 미치는가?
• RQ2 행동 수 $ k $ 가 아닌 독립 수와 클리크 분할 수와 같은 그래프 이론적 성질에 따라 스케일링되는 리그레트 한계를 갖는 알고리즘을 설계할 수 있는가?
• RQ3 기존 알고리즘인 ExpBan과 새로운 알고리즘인 ELP 간의 성능 격차는 실제로 존재하며, 이 격차는 실험적 성능에 반영되는가?
• RQ4 이 피드백 구조 설정에서 이론적 리그레트 한계가 정보 이론적 하한과 얼마나 잘 일치하는가?
• RQ5 측면 관측이 존재할 때, 이러한 알고리즘의 성능은 표준 밴딧 알고리즘인 EXP3과 어떻게 비교되는가?

주요 결과

• 무방향 그래프의 경우, 정보 이론적으로 최적의 리그레트는 평균 독립 수 $ \alpha(G) $로 특징지어지며, ELP 알고리즘이 $ \mathcal{O}(\sqrt{\alpha(G) T}) $ 리그레트 한계를 달성한다.
• 유방향 그래프의 경우, ELP 알고리즘은 $ \mathcal{O}(\sqrt{\alpha(G) T}) $ 리그레트 한계를 달성하지만, ExpBan의 경우 클리크 분할 수 $ \bar{\chi}(G) $ 에 의존하여, $ \bar{\chi}(G) \gg \alpha(G) $ 일 경우 성능 격차가 발생한다.
• 일정한 $ p $ 를 갖는 무작위 에르되시-레니 그래프에서, 독립 수는 $ \mathcal{O}(\log k) $ 이며, 클리크 분할 수는 $ \Omega(k / \log k) $ 이므로, ExpBan과 ELP 사이에 상당한 이론적 격차가 발생한다.
• 300개 노드를 갖는 랜덤 그래프에서의 실험 결과, 측면 관측이 유의미하지만 중복적이지 않은 중간 범위의 $ p $ 에서 ELP는 ExpBan과 표준 EXP3를 모두 초월한다.
• ExpBan과 ELP 간의 성능 격차는 분석의 산물이 아니며, 실제로 관측 가능하며, 특히 $ p \approx 0.1 $ 에서 $ 0.3 $ 사이에서 $ \alpha(G) $ 와 $ \bar{\chi}(G) $ 간의 차이가 최대가 되는 시점에 두드러진다.
• 완전 그래프의 경우, 두 알고리즘이 모두 $ \mathcal{O}(\sqrt{T}) $ 리그레트를 달성하여 전문가 설정과 일치하며, 공백 그래프의 경우 둘 다 $ \mathcal{O}(\sqrt{kT}) $ 로 떨어져 밴딧 설정과 일치한다.