[論文レビュー] A Contextual Bandit Approach for Stream-Based Active Learning

Linqi Song, Jie Xu|arXiv (Cornell University)|Jan 24, 2017

Machine Learning and Algorithms参考文献 8被引用数 4

ひとこと要約

本稿では、アノテーターに事前報酬情報を伝えることでクエリコストを低減するアクティブラーニング機能を備えた文脈的バンディットアルゴリズムを提案する。文脈空間とアーム空間を適応的に分割し、必要に応じてのみ真のラベルをクエリすることで、報酬収集が高コストな状況下でも、従来の文脈的バンディットと同等のレグルト性能を達成する。アクティブラーニングのオーバーヘッドがあるにもかかわらず、順序的に最適な学習効率を示している。

ABSTRACT

Contextual bandit algorithms -- a class of multi-armed bandit algorithms that exploit the contextual information -- have been shown to be effective in solving sequential decision making problems under uncertainty. A common assumption adopted in the literature is that the realized (ground truth) reward by taking the selected action is observed by the learner at no cost, which, however, is not realistic in many practical scenarios. When observing the ground truth reward is costly, a key challenge for the learner is how to judiciously acquire the ground truth by assessing the benefits and costs in order to balance learning efficiency and learning cost. From the information theoretic perspective, a perhaps even more interesting question is how much efficiency might be lost due to this cost. In this paper, we design a novel contextual bandit-based learning algorithm and endow it with the active learning capability. The key feature of our algorithm is that in addition to sending a query to an annotator for the ground truth, prior information about the ground truth learned by the learner is sent together, thereby reducing the query cost. We prove that by carefully choosing the algorithm parameters, the learning regret of the proposed algorithm achieves the same order as that of conventional contextual bandit algorithms in cost-free scenarios, implying that, surprisingly, cost due to acquiring the ground truth does not increase the learning regret in the long-run. Our analysis shows that prior information about the ground truth plays a critical role in improving the system performance in scenarios where active learning is necessary.

研究の動機と目的

• 順序的な意思決定システムにおける真の報酬を取得するコストの高さという課題に対処すること。
• クエリ費用を削減するために、アクティブラーニングと事前情報共有を統合した文脈的バンディットフレームワークを設計すること。
• 提案手法の学習レグルトが、コストフリーな設定下での従来の文脈的バンディットと同程度のオーダーに達することを証明すること。
• 大規模な文脈空間およびアーム空間において、探索と活用のバランスを保ちながら、アクティブラーニングコストを最小限に抑えること。

提案手法

• アルゴリズムは時間をエポックに分割し、時間の経過とともに細かくなるように文脈空間とアーム空間を適応的にクラスタに分割する。
• 各エポック内では、アームクラスタの探索を通じて文脈クラスタの報酬を推定し、非最適なクラスタを削除する。
• 最適、近似的に最適、非最適なアームクラスタを分類するための制御関数を用い、探索と活用を誘導する。
• 必要最小限のときのみアノテーターにクエリを送信し、事前報酬推定値を含めることで、アノテーターの作業負荷とクエリコストを低減する。
• 信頼区間に基づく統計的バウンドとストップルールを用いて、クエリを停止するタイミングを決定する。
• 被覆次元理論を活用して、文脈およびアームクラスタの数をバウンドし、スケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 事前情報を利用したアクティブラーニングは、文脈的バンディット設定においてレグルトを増加させることなく、クエリコストを低減できるか？
• RQ2 コストがかかる真のラベルを積極的に取得する文脈的バンディットアルゴリズムの理論的レグルトオーダーは何か？
• RQ3 報酬分布に関する事前情報は、順序的な意思決定におけるアクティブラーニングの効率にどのように影響するか？
• RQ4 高コストな真のラベル取得があるにもかかわらず、提案されたアルゴリズムは順序的に最適なレグルトを維持できるか？
• RQ5 文脈空間およびアーム空間の適応的分割は、学習効率とコストにどのように影響するか？

主な発見

• 提案されたCB-ALアルゴリズムは、コストフリーな状況下での従来の文脈的バンディットと同等のオーダーである O(T^(dX + dK + 1)/(dX + dK + 2)) のレグルトを達成する。
• レグルトバウンドは、通常および異常事象の両条件下で導出されており、Jensenの不等式および級数収束解析を用いてクエリコストがバウンドされている。
• クエリコスト c が 0.1 から 1 に増加した場合、T = 10,000 で平均報酬が 15% 減少し、T = 20,000 で 8% 減少する。コストの増加に敏感であるが、レグルトオーダーには影響しない。
• 実験終了時における報酬で、標準的な文脈的バンディットよりも 16%、事前情報なしのCB-ALよりも 13% 高い。
• レグルトの下界は Ω(T^(dX + dK + 1)/(dX + dK + 2)) であり、アルゴリズムが順序的に最適であることを確認している。
• 事前情報の使用は、被覆次元に比例する ρX,i および ρK,i を含むクエリコスト項が有界であることで、クエリコストの顕著な低減が示されている。