[논문 리뷰] Online Learning with Feedback Graphs Without the Graphs

Alon Cohen, Tamir Hazan외 1명|ArXiv.org|2016. 05. 23.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 7

한 줄 요약

이 논문은 학습자가 피드백 그래프의 전체 구조를 알 수 없을 때 온라인 학습을 조사하며, 적대적 환경에서는 표준 밴딧 피드백보다 비현실적인 리그레트 향상이 불가능하다는 것을 드러낸다. 반면, 독립 수가 α로 유계인 확률적 가정 하에, 저자들은 Õ(√(αT)) 리그레트를 달성하는 알고리즘을 제안하며, 환경가 충분히 구조화되어 있다면 숨겨진 피드백 그래프 역시 효율적 학습을 가능하게 함을 보여준다.

ABSTRACT

We study an online learning framework introduced by Mannor and Shamir (2011) in which the feedback is specified by a graph, in a setting where the graph may vary from round to round and is \emph{never fully revealed} to the learner. We show a large gap between the adversarial and the stochastic cases. In the adversarial case, we prove that even for dense feedback graphs, the learner cannot improve upon a trivial regret bound obtained by ignoring any additional feedback besides her own loss. In contrast, in the stochastic case we give an algorithm that achieves $\widetilde Θ(\sqrt{αT})$ regret over $T$ rounds, provided that the independence numbers of the hidden feedback graphs are at most $α$. We also extend our results to a more general feedback model, in which the learner does not necessarily observe her own loss, and show that, even in simple cases, concealing the feedback graphs might render a learnable problem unlearnable.

연구 동기 및 목표

• 학습자가 피드백 그래프의 전체 구조를 전혀 알 수 없을 때 온라인 학습을 연구하는 것.
• 피드백 그래프 정보가 완전히 제공되지 않는 상황에서 비현실적인 리그레트 한계를 달성할 수 있는지 판단하는 것.
• 피드백 그래프를 숨기는 것이 학습 가능성에 미치는 영향을 분석하며, 특히 확률적 환경과 적대적 환경 간의 차이를 조사하는 것.
• 학습자가 자신의 손실을 관찰하지 못할 수 있는 일반적인 피드백 모델으로 결과를 확장하는 것.
• 정보 이론적 및 최소최대 논증을 사용하여 피드백 그래프가 숨겨졌을 때의 학습에 대한 근본적인 한계를 설정하는 것.

제안 방법

• 저자들은 얀의 최소최대 원리를 사용하여, 임의의 결정적 학습자를 높은 리그레트로 이끄는 랜덤 환경을 구성함으로써 하한을 증명한다.
• 숨겨진 피드백 그래프의 독립 수 α를 활용하여 Õ(√(αT)) 리그레트를 달성하는 확률적 알고리즘을 설계한다.
• 모든 피드백 그래프의 독립 수가 9 이하임을 전제로 조건부 분석을 수행하여, 구조적 제약의 영향을 분리한다.
• 적대적 환경에서, 밀도 높은 피드백 그래프가 있더라도, 표준 O(√(KT)) 리그레트를 초월한 개선은 불가능하다는 것을 증명한다.
• 피드백 구조가 두 행동 간에 대칭이므로, 전체 그래프를 관찰하지 않으면 분포를 구분할 수 없는 두 행동 환경을 구성한다.
• 확률적 논증을 통해 피드백 그래프가 은폐되어 있을 경우 학습자가 진짜 손실 분포를 신뢰성 있게 추론할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 피드백 그래프가 학습자에게 완전히 공개되지 않는 온라인 학습에서 비현실적인 리그레트 한계를 달성할 수 있는가?
• RQ2 피드백 그래프의 구조를 숨기는 것이 적대적 환경에서 하위선형 리그레트를 달성하는 데 학습자의 능력을 본질적으로 제한하는가?
• RQ3 숨겨진 피드백 그래프의 독립 수 α가 여전히 확률적 환경에서 리그레트를 제한하는 데 사용될 수 있는가?
• RQ4 전체 피드백 그래프 구조에 접근할 수 없이도 Õ(√(αT)) 리그레트를 달성하는 알고리즘을 설계할 수 있는가?
• RQ5 피드백 그래프를 은폐하는 것이 간단한 경우조차도 학습 가능한 문제를 학습 불가능하게 만들 수 있는가?

주요 결과

• 적대적 환경에서는 밀도 높은 피드백 그래프가 있더라도, 학습자는 여전히 Ω(√(KT)) 리그레트를 겪으며, 그래프가 은폐되어 있을 경우 표준 밴딧 피드백보다 향상이 불가능하다.
• 독립 수 α가 유계인 확률적 환경에서는 제안된 알고리즘이 Õ(√(αT)) 리그레트를 달성하며, 그래프가 완전히 알려져 있을 때의 기존 결과와 일치한다.
• 적대적 경우의 하한 Ω(√(KT))는 숨겨진 그래프의 독립 수가 9 이하일 때에도 유지된다.
• 논문은 피드백 그래프를 은폐하는 것이 학습 가능한 문제를 학습 불가능하게 만들 수 있음을 보여주며, 두 행동 예제에서 학습자가 분포를 구분할 수 없음을 보여준다.
• 피드백이 대칭적이고 불완전한 두 행동 설정에서 얀의 최소최대 원리를 통해 Ω(T) 리그레트 하한을 확립한다.
• 학습자가 자신의 손실을 관찰하지 못하는 단순한 피드백 모델에서도, 그래프 구조가 은폐되어 있으면 학습이 불가능해질 수 있으며, 이는 이산형 손실과 확률적 간선 생성을 포함한 구성에 의해 보여진다.