[論文レビュー] Online Learning with Feedback Graphs Without the Graphs

Alon Cohen, Tamir Hazan+1 more|ArXiv.org|May 23, 2016

Advanced Bandit Algorithms Research参考文献 15被引用数 7

ひとこと要約

この論文は、学習者が完全なグラフ構造を把握できないオンライン学習におけるフィードバックグラフを調査し、敵対的設定では、標準的なバンディットフィードバックと比較して非自明なレグレットの改善が不可能であることを明らかにする。一方、独立数 α が有界な確率的仮定の下では、著者らは Õ(√(αT)) レグレットを達成するアルゴリズムを提示し、環境が十分に構造的であれば、隠されたフィードバックグラフでさえも効率的な学習を可能にすることを示している。

ABSTRACT

We study an online learning framework introduced by Mannor and Shamir (2011) in which the feedback is specified by a graph, in a setting where the graph may vary from round to round and is \emph{never fully revealed} to the learner. We show a large gap between the adversarial and the stochastic cases. In the adversarial case, we prove that even for dense feedback graphs, the learner cannot improve upon a trivial regret bound obtained by ignoring any additional feedback besides her own loss. In contrast, in the stochastic case we give an algorithm that achieves $\widetilde Θ(\sqrt{αT})$ regret over $T$ rounds, provided that the independence numbers of the hidden feedback graphs are at most $α$. We also extend our results to a more general feedback model, in which the learner does not necessarily observe her own loss, and show that, even in simple cases, concealing the feedback graphs might render a learnable problem unlearnable.

研究の動機と目的

• 学習者が完全にフィードバックグラフ構造を把握できない状況におけるオンライン学習を研究すること。
• 完全なフィードバックグラフ情報が得られない状況でも、非自明なレグレットバウンドが達成可能かどうかを特定すること。
• 特に確率的環境と敵対的環境の両者において、フィードバックグラフを隠すことが学習可能性に与える影響を調査すること。
• 学習者が自身の損失を観測できない一般化されたフィードバックモデルへと結果を拡張すること。
• 情報理論的およびミニマックス的議論を用いて、フィードバックグラフが隠された場合の学習の根本的限界を確立すること。

提案手法

• 著者らは、任意の決定的学習者が高いレグレットに陥らせるように設計された確率的環境を構築することで、ヤオのミニマックス原理を用いて下界を証明する。
• 隠されたフィードバックグラフの独立数 α を活用することで、Õ(√(αT)) レグレットを達成する確率的アルゴリズムを設計する。
• すべてのフィードバックグラフの独立数が 9 以下であるという事象に条件づけることで、構造的制約の影響を明確に分離する。
• 敵対的設定において、密度の高いフィードバックグラフであっても、自明な O(√(KT)) レグレットを超える改善は不可能であることを証明する。
• フィードバック構造が両方の行動に対して対称的である2行動環境を構築し、完全なグラフを観測しない限り分布を区別できないことを示す。
• 確率的議論を用いて、フィードバックグラフが隠されていると、学習者が真の損失分布を信頼性高く推定できなくなることを示す。

実験結果

リサーチクエスチョン

• RQ1 フィードバックグラフが学習者に完全に非公開である状況でも、非自明なレグレットバウンドを達成できるか？
• RQ2 フィードバックグラフ構造を隠すことは、敵対的設定において、部分線形レグレットを達成する能力を根本的に制限するか？
• RQ3 隠されたフィードバックグラフの独立数 α は、確率的環境下でもレグレットのバウンドに利用可能か？
• RQ4 完全なフィードバックグラフ構造が入手不可な状況でも、Õ(√(αT)) レグレットを達成するアルゴリズムを設計可能か？
• RQ5 フィードバックグラフを隠すことで、単純なケースですら学習可能な問題が学習不能になることがあるか？

主な発見

• 敵対的設定では、密度の高いフィードバックグラフが存在しても、任意の学習者は Ω(√(KT)) のレグレットを被る。これは、グラフが隠されている場合、標準的なバンディットフィードバックと比較して改善が不可能であることを意味する。
• 独立数 α が有界な確率的設定では、提案されたアルゴリズムが Õ(√(αT)) レグレットを達成し、グラフが完全に把握可能である場合の既知のバウンドと一致する。
• 敵対的ケースにおける下界 Ω(√(KT)) は、隠されたグラフの独立数が 9 以下であっても成立する。
• 論文は、フィードバックグラフを隠すことで、学習可能な問題が学習不能になる可能性があることを示している。2行動の例では、学習者が分布を区別できない。
• ヤオのミニマックス原理を用いて、フィードバックが対称的かつ不完全な2行動設定で、レグレット下界が Ω(T) であることを確立した。
• 学習者が自身の損失を観測しない単純なフィードバックモデルですら、グラフ構造を隠すことで学習が不可能になることが、ベルヌーイ分布の損失と確率的エッジ出現の構成により示された。