[論文レビュー] Efficient Contextual Bandits with Continuous Actions

Maryam Majzoubi, Chicheng Zhang+4 more|arXiv (Cornell University)|Jun 10, 2020

Advanced Bandit Algorithms Research参考文献 54被引用数 6

ひとこと要約

本稿では、連続的行動を伴う文脈的バンディットにおける計算効率の良いアルゴリズムであるCATSを提案する。この手法は、滑らかさを考慮した木構造のポリシーと滑らか化された行動分布を用いる。オракル効率的な教師あり学習を活用することで、部分線形なレジーダルと対数時間の1ラウンドあたりの計算時間の両方を達成し、実世界のデータセットにおいてベースラインと比較して顕著な高速化を実現するオンライン学習とオフポリシー最適化を可能にする。

ABSTRACT

We create a computationally tractable algorithm for contextual bandits with continuous actions having unknown structure. Our reduction-style algorithm composes with most supervised learning representations. We prove that it works in a general sense and verify the new functionality with large-scale experiments.

研究の動機と目的

• 連続的行動空間における効率的なオンライン学習の課題に取り組むこと。ここでは、従来の離散化や滑らかさに関する仮定が現実的でない。
• 既知の滑らかさパラメータ（例：リプシッツ定数）に依存しない、計算的に実行可能なアルゴリズムを開発すること。
• 滑らかさによって全行動空間にわたる探索を誘導することで、ログデータを用いたオフポリシーのモデル選択を可能にすること。
• 理論的なレジーダル保証を達成すると同時に、大規模応用に適した低コストな1ラウンドあたりの計算コストを維持すること。
• 実用的な導入を可能にするために、既存の教師あり学習の表現形式とシームレスに統合すること。

提案手法

• 二分木の教師あり学習者を用いて文脈を行動にルーティングする、epsilon-greedyアルゴリズムであるCATSを提案。各リーフは区間上の滑らか化された行動分布を表す。
• 木ポリシークラスを採用。各内部ノードは文脈をルーティングする分類器を保持し、各リーフは帯域幅パラメータを伴う滑らか化された行動分布を出力する。
• 報酬フィードバックを木の上流に再帰的に伝搬する再帰的更新手順を用いてオンライン学習を実装。各ノードでコスト推定値を再帰的コスト関数を用いて維持する。
• 全ポリシー・パラメータの列挙を避けることで、Kをリーフ数としてO(log K)の1ラウンドあたりの計算コストに抑えることで、オラクル効率性を確保する。
• ログデータを用いて木ポリシーの複雑さを変化させたモデルを学習・選択するオフポリシー変種であるCATS_Offを導入。これにより、オンライン相互作用なしにモデル選択が可能になる。
• ポリシーとベンチマークの両方に滑らかさを適用することで、非滑らか環境に対するロバストネスを高めるとともに、帯域幅選択への感受性を低減する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさパラメータの事前知識が不要な、連続的行動を伴う文脈的バンディットアルゴリズムを設計できるか？ また、そのアルゴリズムは計算的に効率的かつ理論的に妥当であるか？
• RQ2 連続的行動を伴う文脈的バンディットにおいて、部分線形なレジーダルを達成しつつ、1ラウンドあたりの計算コストを低く保てるか？
• RQ3 ログデータを用いて連続的行動バンディットのオフポリシー・モデル選択を可能にできるか？ もしそうなら、滑らかさがこのプロセスをどのように促進するか？
• RQ4 実世界の設定において、木構造による滑らか化アプローチは、均等な離散化やパラメトリックモデルをどれほど上回るか？
• RQ5 オラクル効率的な設計により、大規模応用における既存の教師あり学習パイプラインとのシームレスな統合が可能になるか？

主な発見

• CATSは1ラウンドあたりの計算時間をO(log K)に抑え、全パラメータ列挙を要する従来手法と比較して指数的改善を達成する。
• 実現可能性仮定の下で、CATSは木ポリシークラスに対して部分線形なレジーダルを達成し、長期的な性能向上を保証する。
• CATS_Offは、全行動空間にわたる探索を滑らかさによって誘導することで、最適な木の深さと帯域幅の選択を可能にする、効果的なオフポリシー・モデル選択を実現する。
• 実データセットを用いた実験では、dLinear や dTree といったベースライン手法と比較して、累積報酬と学習効率の両面でCATSが優れていることが示され、学習時間において顕著な高速化が確認された。
• 帯域幅の選択に対してロバストで、重複する帯域の使用と適応的区間選択により、性能が向上する。
• Vowpal WabbitへのCATS統合により、実用的導入が確認され、生産環境に近い環境でもスケーラビリティと効率性を示した。