[論文レビュー] Uniform regret bounds over $R^d$ for the sequential linear regression problem with the square loss

Pierre Gaillard, Sébastien Gerchinovitz+2 more|arXiv (Cornell University)|Feb 16, 2018

Advanced Bandit Algorithms Research参考文献 4被引用数 5

ひとこと要約

この論文は、平方損失における $\ mathbb{R}^d$ 上で一様なレグレットバウンド $\ sqrt{d}B^2 \ln T + O_T(1)$ を達成する、新しいオンライン線形回帰アルゴリズムを提示する。これは、以前の最良の上限である $2\sqrt{d}B^2 \ln T$ よりも改善されたものである。この手法は非線形リッジ回帰フレームワーク内でのデータに依存する正則化を用い、$\ sqrt{d}B^2 \ln T$ 項の前の最適定数 1 を達成しており、固定設計および逐次的に提示される特徴量の両設定で有効である。

ABSTRACT

We consider the setting of online linear regression for arbitrary deterministic sequences, with the square loss. We are interested in the aim set by Bartlett et al. (2015): obtain regret bounds that hold uniformly over all competitor vectors. When the feature sequence is known at the beginning of the game, they provided closed-form regret bounds of $2d B^2 \\ln T + \\mathcal{O}_T(1)$, where $T$ is the number of rounds and $B$ is a bound on the observations. Instead, we derive bounds with an optimal constant of $1$ in front of the $d B^2 \\ln T$ term. In the case of sequentially revealed features, we also derive an asymptotic regret bound of $d B^2 \\ln T$ for any individual sequence of features and bounded observations. All our algorithms are variants of the online non-linear ridge regression forecaster, either with a data-dependent regularization or with almost no regularization.

研究の動機と目的

• 一様なレグレットの既知のミニマックス下界 $\ sqrt{d}B^2 \ln T$ と、現在の最良の上界 $2\sqrt{d}B^2 \ln T$ の間のギャップを埋める。$\ mathbb{R}^d$ 上での一様なレグレットに関して。
• 固定設計および逐次的に提示される特徴量の両設定で、$\ sqrt{d}B^2 \ln T$ 項の前の最適定数 1 を達成するレグレット最小化アルゴリズムを開発すること。
• 観測値の上限 $B$ やホライズン $T$ の事前知識を必要とせず、スケール不変性を保ちながら最適なレグレットを達成できるデータに依存する正則化スキームを構築すること。
• 特徴量が逐次的に提示される設定にまで、非線形リッジ回帰フォレキャスターの適用範囲を拡張し、従来の後向き計算手法の制限を克服すること。

提案手法

• 特徴ベクトルの経験的共分散に適応するデータに依存する正則化パラメータを備えた非線形リッジ回帰フォレキャスターの変種を提案する。
• Gram行列 $G_t = X_t X_t^T$ の固有構造に基づく動的正則化戦略を用い、予測分散に対する最適な制御を保証する。
• ランク不足の特徴行列に対処するため、ムーア・ペンローズ一般化逆行列を適用し、予測ルールの閉形式表現を導出する。
• 固有値の入れ子と行列摂動理論に基づく新しい解析技術を用い、逆Gram行列のトレースを用いてレグレットをバウンドする。
• レグレットとGram行列の行列式の間の関係を確立し、縮小された行列 $\Gamma$ に対して $\det(\Gamma) = \prod_{k=1}^r \lambda_k(B)$ という恒等式を活用して、タイトなバウンドを導出する。
• アルゴリズムのレグレットが一様に $\sqrt{d}B^2 \ln T + O_T(1)$ でバウンドされることを示し、下界に下位の項を除いて一致する。

実験結果

リサーチクエスチョン

• RQ1 オンライン線形回帰における一様なレグレットを、$2\sqrt{d}B^2 \ln T$ から $\sqrt{d}B^2 \ln T$ に最適定数を伴って改善できるか？
• RQ2 後向き計算を必要とせず、$T$ の事前知識も不要な状況で、逐次的に提示される特徴量の設定でも最適なレグレットバウンドを達成できるか？
• RQ3 最適なレグレットを達成しながら、スケール不変性を保ち、特徴量の有界性に関する仮定を避けるデータに依存する正則化戦略を設計できるか？
• RQ4 Gram行列 $G_t$ の固有構造はレグレットにどのように影響するか？また、よりタイトなバウンドを導出するためにこれを活用できるか？
• RQ5 非線形リッジ回帰フレームワークを、最小限の正則化で逐次的特徴量設定に適応させ、依然として最適なレグレットを達成できるか？

主な発見

• 提案されたアルゴリズムは、$\sqrt{d}B^2 \ln T + O_T(1)$ の一様なレグレットバウンドを達成し、下界に下位の項を除いて一致する。
• $\sqrt{d}B^2 \ln T$ 項の前の定数が 2 から 1 に改善され、最適定数が達成された。
• アルゴリズムは固定設計および逐次的に提示される特徴量の両設定で動作し、同じレグレット保証を持つ。
• データに依存する正則化を用い、$B$ や $T$ の事前知識を必要とせず、経験的特徴量分布に適応する。
• 解析により、レグレットが縮小されたGram行列 $\Gamma$ の行列式によってきわめて厳密に制御されていることが明らかになった。これは特徴量共分散の固有値に関連している。
• アルゴリズムはスケール不変性を維持し、特徴量が逐次的に提示されても前向きに計算可能であり、従来の後向きアルゴリズムの制限を克服している。