[論文レビュー] Adaptive Online Estimation of Piecewise Polynomial Trends

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Jan 1, 2020

Advanced Bandit Algorithms Research被引用数 2

ひとこと要約

本稿では、ノイズの多い勾配フィードバック下での区分的多項式トレンド推定のための適応的オンライン学習アルゴリズムを提案する。全変動に基づく変分制約を課すことにより、未知の滑らかさに適応し、事前に半径 $C_n$ を知る必要がないまま、ほぼ最適な動的リグレット $ ilde{O}(n^{rac{1}{2k+3}}C_n^{rac{2}{2k+3}})$ を達成する。さらに、複数の非パラメトリック族にわたるミニマックス最適性へと拡張される。

ABSTRACT

We consider the framework of non-stationary stochastic optimization [Besbes et al, 2015] with squared error losses and noisy gradient feedback where the dynamic regret of an online learner against a time varying comparator sequence is studied. Motivated from the theory of non-parametric regression, we introduce a new variational constraint that enforces the comparator sequence to belong to a discrete $k^{th}$ order Total Variation ball of radius $C_n$. This variational constraint models comparators that have piece-wise polynomial structure which has many relevant practical applications [Tibshirani, 2014]. By establishing connections to the theory of wavelet based non-parametric regression, we design a polynomial time algorithm that achieves the nearly optimal dynamic regret of $ ilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$. The proposed policy is adaptive to the unknown radius $C_n$. Further, we show that the same policy is minimax optimal for several other non-parametric families of interest.

研究の動機と目的

• 時間変動する比較対象を伴う非定常確率的最適化における動的リグレットの問題に対処すること。
• 離散的 $k^{\text{th}}$ 階全変動ボール制約を用いて、比較対象を区分的多項式構造でモデル化すること。
• 比較対象系列の未知の滑らかさ（半径 $C_n$）に適応する多項式時間アルゴリズムを設計すること。
• ノイズのあるフィードバック下での非パラメトリックトレンド推定において、ほぼ最適な動的リグレットを達成すること。
• 区分的多項式を越える複数の非パラメトリック族にわたるミニマックス最適性を確立すること。

提案手法

• 比較対象系列が半径 $C_n$ の離散的 $k^{\text{th}}$ 階全変動ボール内に収まるように変分制約を導入し、区分的多項式トレンドをモデル化する。
• ウェーブレットに基づく非パラメトリック回帰との関連を活用して、計算効率の良いオンライン方策を設計する。
• 未知の $C_n$ に適応する新しい適応的正則化スキームを採用し、事前に $C_n$ を知る必要がない。
• アルゴリズムの性能に関する理論的解析を通じて、動的リグレットの上限 $ ilde{O}(n^{rac{1}{2k+3}}C_n^{rac{2}{2k+3}})$ を導出する。
• ウェーブレットスレッショルド処理の原則を用いて比較対象系列を近似しつつ、計算の実行可能性を維持する。
• 変分制約における構造的類似性を活用することで、複数の非パラメトリック関数クラスにわたってアルゴリズムがミニマックス最適であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い勾配フィードバック下で、区分的多項式トレンドに対して適応的オンライン学習アルゴリズムがほぼ最適な動的リグレットを達成できるか。
• RQ2 時間変動する比較対象を伴う非定常最適化において、未知の滑らかさ（すなわち未知の $C_n$）にどのように適応できるか。
• RQ3 どのような変分制約が、計算効率を保ちつつ区分的多項式構造をモデル化可能か。
• RQ4 提案されたアルゴリズムは、区分的多項式を越えるより広い非パラメトリック関数クラスに対してもミニマックス最適か。
• RQ5 ウェーブレットに基づく非パラメトリック回帰とオンライン動的リグレット最小化との間にどのような関係があるか。

主な発見

• 提案されたアルゴリズムは、$\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$ の動的リグレット上限を達成し、$k^{\text{th}}$ 階区分的多項式トレンドに対してほぼ最適である。
• アルゴリズムは未知の半径 $C_n$ に適応可能であり、比較対象系列の滑らかさレベルを事前に知る必要がない。
• 同じ方策が複数の他の非パラメトリック族に対してもミニマックス最適であることを示しており、広範な適用可能性を示している。
• $k^{\text{th}}$ 階全変動制約の使用は、実用的応用において関連する区分的多項式構造を効果的にモデル化できる。
• 理論的解析により、リグレット上限が対数要因を除いてタイトであることが確認され、既存の文献における下界と一致する。
• ウェーブレットに基づく回帰との関連性により、統計的精度と計算効率の両立がオンライン推定において実現される。