[論文レビュー] Decision Tree Algorithms for the Contextual Bandit Problem.

Raphaël Féraud, Robin Allesiardo+2 more|arXiv (Cornell University)|Apr 27, 2015

Data Stream Mining Techniques被引用数 1

ひとこと要約

この論文では、サンプル効率の良い決定木スタブに基づき、それらを木構造に組み合わせたオンラインランダムフォレストアルゴリズムであるBandit Forestを提案する。この手法は、対数的要因を除いて最適なサンプル複雑度を達成し、時間の経過に伴って線形時間計算量となるため、非線形な文脈的依存関係を有する大規模・高スループットな応用分野への効率的な展開を可能にする。

ABSTRACT

To address the contextual bandit problem, we propose an online random forest algorithm. The analysis of the proposed algorithm is based on the sample complexity needed to find the optimal decision stump. Then, the decision stumps are assembled in a random collection of decision trees, Bandit Forest. We show that the proposed algorithm is optimal up to logarithmic factors. The dependence of the sample complexity upon the number of contextual variables is logarithmic. The computational cost of the proposed algorithm with respect to the time horizon is linear. These analytical results allow the proposed algorithm to be efficient in real applications, where the number of events to process is huge, and where we expect that some contextual variables, chosen from a large set, have potentially non- linear dependencies with the rewards. In the experiments done to illustrate the theoretical analysis, Bandit Forest obtain promising results in comparison with state-of-the-art algorithms.

研究の動機と目的

• 高次元かつ非線形な文脈的特徴を有する大規模応用における文脈的バンディット問題に対処すること。
• 文脈的バンディット設定における最適な意思決定を学習するためのサンプル複雑度を低減すること。
• 時間の経過に伴って線形にスケーリングする効率的なオンライン学習アルゴリズムを開発すること。
• 文脈変数と報酬の間の非線形な依存関係を効果的にモデル化すること。

提案手法

• サンプル複雑度解析を用いて、文脈的特徴における最適な分割を特定する決定木スタブを構築する。
• 複数の決定木スタブをランダムフォレスト構造に組み合わせ、Bandit Forestと呼ぶ。これにより汎化性能が向上する。
• 新しい文脈データが到着する度に、オンライン学習を用いてフォレストを段階的に更新する。
• スケーラビリティを維持するために、文脈変数の数に対して対数的依存性を保証する。
• リアルタイム適用可能性を確保するため、時間の経過に伴って計算コストが線形に増加するように維持する。
• 木構造の構築におけるランダム化を活用して、バンディット設定における探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 オンラインランダムフォレストアプローチは、対数的要因を除いて文脈的バンディット問題において最適なサンプル複雑度を達成できるか？
• RQ2 このアルゴリズムは、文脈変数の数と時間の経過に伴ってどのようにスケーリングするか？
• RQ3 この手法は、文脈と報酬の間の非線形な依存関係をどの程度効果的にモデル化できるか？
• RQ4 最先端の文脈的バンディットアルゴリズムと比較して、Bandit Forestの性能はいかがなものか？

主な発見

• 提案されたBandit Forestアルゴリズムは、対数的要因を除いて最適なサンプル複雑度を達成する。
• サンプル複雑度は文脈変数の数に対して対数的依存性を示し、スケーラビリティが保証される。
• 計算コストは時間の経過に伴って線形に増加し、効率的なリアルタイム展開が可能になる。
• 実験結果から、Bandit Forestは評価された設定において最先端のアルゴリズムを上回る性能を示す。
• この手法は、文脈的特徴と報酬の間の非線形な依存関係を効果的に捉えることができる。
• 高次元の文脈的空間においても、アルゴリズムは強固な性能を維持する。