[論文レビュー] Online Multi-task Learning with Hard Constraints

Gábor Lugosi, Omiros Papaspiliopoulos+1 more|ArXiv.org|Feb 20, 2009

Advanced Bandit Algorithms Research参考文献 19被引用数 21

ひとこと要約

本稿では、M 個のタスクにおける同時行動に硬い制約を課すオンラインマルチタスク学習フレームワークを提案する。この問題は、計算を効率化するためのオンライン最短経路問題に還元される。計算的に取り扱えるアルゴリズムを用いて低レグレットを達成し、トラッキング、バンディットフィードバック、無限タスク設定へと拡張可能であり、理論的境界と効率的な近似手法（離散化を用いて）を提供する。

ABSTRACT

We discuss multi-task online learning when a decision maker has to deal simultaneously with M tasks. The tasks are related, which is modeled by imposing that the M-tuple of actions taken by the decision maker needs to satisfy certain constraints. We give natural examples of such restrictions and then discuss a general class of tractable constraints, for which we introduce computationally efficient ways of selecting actions, essentially by reducing to an on-line shortest path problem. We briefly discuss "tracking" and "bandit" versions of the problem and extend the model in various ways, including non-additive global losses and uncountably infinite sets of tasks.

研究の動機と目的

• 複数の関連するタスクに対して、連携行動に硬い制約が課される状況下で、計算的に効率的なオンライン学習戦略を開発すること。
• 全タスクにわたるレグレットを最小化すると同時に、可能な行動組み合わせを制限するグローバル制約を満たすこと。
• 制限された行動変更（トラッキング）と部分的損失観測（バンディットフィードバック）に対応するフレームワークの拡張。
• 行動を関数としてモデル化し、近似手法を用いることで、非可算無限のタスクを扱うこと。
• 理論的レグレット境界を提供するとともに、実装の計算複雑度を実用的水準に保つこと。

提案手法

• 構築されたグラフ内でのオンライン最短経路問題に、制約付きマルチタスク問題を還元することで、既知のアルゴリズムを用いて効率的な計算を可能にする。
• 特にバンディットフィードバック設定においても頑健な性能を発揮するように、指数加重平均予測器を用いる。
• タスク空間を区間で分割する離散化スキームを適用し、タスクをスーパータスクに集約することで、有限計算を可能にする。
• 連続的タスク設定における近似サンプリングに重要度サンプリングとパーティクルフィルタリングを用い、安定性の保証を付与する。
• 標準的なオンライン最短経路ソルバーよりも効率的な、修正版実装を導入する。
• 非加法的グローバル損失関数および無限タスクのための連続時間マルコフ連鎖近似へと結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 連携行動に硬い制約が課される状況下で、オンラインマルチタスク学習をどのように効率的に行えるか？
• RQ2 制約付きマルチタスク学習の計算複雑度を、オンライン最短経路問題の複雑度にまで低減できるか？
• RQ3 このフレームワークは、制限された行動変更（トラッキング）と部分的損失観測（バンディットフィードバック）にどのように適合できるか？
• RQ4 無限タスク設定において、効率的な実装を可能にする近似手法は何か？
• RQ5 これらの制約とフィードバックモデル下で、達成可能な理論的レグレット境界は何か？

主な発見

• 任意の $ \varepsilon > 0 $ に対して、高確率でレグレットが $ \sqrt{\frac{nm\ln(N\lceil 1/\varepsilon\rceil)}{2}} + \frac{mn\varepsilon}{2} + \sqrt{\frac{n}{2}\ln\frac{1}{\delta}} $ で有界である。
• $ \varepsilon \sim 1/\sqrt{n} $ の場合、レグレット境界は有限ケースと一致し、$ O(\sqrt{n}) $ の成長を達成する。
• 計算複雑度は $ O\bigl{(}(Nm)^{2}/\varepsilon\bigr{)} $ であり、最適な $ \varepsilon $ に対しては $ O\bigl{(}\sqrt{n}(Nm)^{2}\bigr{)} $ にまで低下する。
• バンディットフィードバックへの拡張は自然に可能であり、選択された行動の損失の和しか観測されない。
• 離散化による近似は損失和の誤差を $ O(\varepsilon) $ に抑え、パーティクルフィルタリングにおける全変動誤差は $ O((m+1)/K) $ である。
• 行動を関数としてモデル化し、フェインマン＝カックの公式と逐次モンテカルロ法を用いることで、無限タスク設定に対応可能である。