[論文レビュー] Streaming kernel regression with provably adaptive mean, variance, and regularization

Audrey Durand, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|Aug 2, 2017

Advanced Bandit Algorithms Research参考文献 25被引用数 21

ひとこと要約

本稿では、オンライン設定におけるストリーミングカーネル回帰手法を提案し、保証可能な適応的正則化、平均、分散推定を実現する。自己正規化不等式と適応的分散バウンドを活用することで、時間的・空間的に一様な信頼区間を達成し、事前にノイズ分散が既知であると仮定しない理論的に妥当な適応的チューニングを可能にする。カーネル化されたバンディットにおいて、より良いレグレットバウンドが得られることを示した。

ABSTRACT

We consider the problem of streaming kernel regression, when the observations arrive sequentially and the goal is to recover the underlying mean function, assumed to belong to an RKHS. The variance of the noise is not assumed to be known. In this context, we tackle the problem of tuning the regularization parameter adaptively at each time step, while maintaining tight confidence bounds estimates on the value of the mean function at each point. To this end, we first generalize existing results for finite-dimensional linear regression with fixed regularization and known variance to the kernel setup with a regularization parameter allowed to be a measurable function of past observations. Then, using appropriate self-normalized inequalities we build upper and lower bound estimates for the variance, leading to Bersntein-like concentration bounds. The later is used in order to define the adaptive regularization. The bounds resulting from our technique are valid uniformly over all observation points and all time steps, and are compared against the literature with numerical experiments. Finally, the potential of these tools is illustrated by an application to kernelized bandits, where we revisit the Kernel UCB and Kernel Thompson Sampling procedures, and show the benefits of the novel adaptive kernel tuning strategy.

研究の動機と目的

• 正則化とノイズ分散をオンラインでチューニングする際の、適応的カーネル回帰における理論的保証の欠如を解消すること。
• ストリーミングカーネル回帰において、すべての時間ステップと入力点にわたって一様に有効な信頼区間を保証する境界を構築すること。
• 事前にノイズ分散が既知であると仮定せずに、経験的分散推定に基づく適応的正則化を可能にすること。
• 逐次学習におけるオンラインでのカーネルハイパーパrameterチューニングの理論的根拠を提供すること。
• 固定正則化を適応的・データ駆動的選択に置き換えることで、カーネル化されたバンディットアルゴリズムの性能を向上させること。

提案手法

• 過去の観測値の関数として定義される正則化付きカーネル回帰に、有限次元の濃度不等式を一般化する。
• 自己正規化不等式を用いて、ノイズ分散の上界と下界を提供するストリーミング分散推定器を導入する。
• 推定された分散を組み込んだ、Empirical Bernsteinに類似した濃度不等式を導出する。これにより、よりタイトな信頼区間が可能になる。
• 分散推定値を用いて、各時間ステップで正則化パラメータを適応的にチューニングし、理論的保証を確保する。
• フレームワークをカーネル化されたバンディットに適用し、正則化を適応的に変更するKU-UCBおよびトムソンサンプリングを再考する。
• レグレット解析において推定誤差の和を制御するために、アズマ＝ホイーディング不等式を用いる。これにより、高確率での境界が保証される。

実験結果

リサーチクエスチョン

• RQ1 正則化パラメータを過去の観測に基づいて適応的に変更する場合でも、ストリーミングカーネル回帰で一様な信頼区間を維持できるか？
• RQ2 事前にノイズ分散を知らなくても、理論的保証を維持したままリアルタイムでノイズ分散を推定できるか？
• RQ3 適応的正則化は、カーネル化されたバンディットアルゴリズムにおけるレグレットにどのような影響を与えるか？
• RQ4 時間的に変化する正則化と推定された分散を伴うカーネル回帰に対して、濃度不等式を導出できるか？
• RQ5 提案手法は、固定パラメータベースラインと比較して、レグレットと信頼区間のタイトネスの点で優れているか？

主な発見

• 適応的正則化であっても、すべての時間ステップと入力点にわたって一様な信頼区間が達成される。
• 固定パラメータアプローチと比較して、適応的正則化戦略により、よりタイトな信頼区間が得られる。
• カーネル化されたバンディットにおいて、適応的手法を用いることで、レグレットバウンドが O(√T log T) にスケーリングされ、固定パラメータベースラインを上回る。
• ノイズ分散が事前に既知でない場合でも、オンラインカーネル学習における理論的保証を可能にするフレームワークを提供する。
• 数値実験により、推定精度の向上とレグレット低減という点で、手法の実用的利点が確認された。
• 導出された境界は、サブガウスノイズの下で有効であり、ノイズレベルの事前知識を必要としない。