[論文レビュー] Online Forecasting of Total-Variation-bounded Sequences

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Jan 1, 2019

Stochastic processes and financial applications被引用数 8

ひとこと要約

本稿では、未知の変動 $C_n$ を持つ全変動値が有界な系列のオンライン予測に対して、初めての多項式時間アルゴリズムを提示する。高い確率で累積二乗誤差が $\tilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ に抑えられ、情報理論的下界に対して対数要因を除いて一致する。この手法はハールウェーブレット構造と未知の滑らかさへの適応性を活用しており、最適な下界を対数要因を除いて達成する。

ABSTRACT

We consider the problem of online forecasting of sequences of length $n$ with total-variation at most $C_n$ using observations contaminated by independent $\sigma$-subgaussian noise. We design an $O(n\log n)$-time algorithm that achieves a cumulative square error of $ ilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ with high probability. We also prove a lower bound that matches the upper bound in all parameters (up to a $\log(n)$ factor). To the best of our knowledge, this is the first **polynomial-time** algorithm that achieves the optimal $O(n^{1/3})$ rate in forecasting total variation bounded sequences and the first algorithm that **adapts to unknown** $C_n$.Our proof techniques leverage the special localized structure of Haar wavelet basis and the adaptivity to unknown smoothness parameters in the classical wavelet smoothing [Donoho et al., 1998]. We also compare our model to the rich literature of dynamic regret minimization and nonstationary stochastic optimization, where our problem can be treated as a special case. We show that the workhorse in those settings --- online gradient descent and its variants with a fixed restarting schedule --- are instances of a class of **linear forecasters** that require a suboptimal regret of $ ilde{\Omega}(\sqrt{n})$. This implies that the use of more adaptive algorithms is necessary to obtain the optimal rate.

研究の動機と目的

• 全変動値が有界な系列の計算的に効率的なオンライン予測アルゴリズムの設計。
• 全変動値の上限 $C_n$ が未知である状況下で、サブガウスノイズが存在する際に最適な予測誤差レートを達成すること。
• この設定において、最適な理論的レートと実用的で多項式時間のアルゴリズムの間のギャップを埋めること。
• 標準的なオンライン勾配降下法が、その線形予測構造のため、この問題に対して劣化していることの証明。

提案手法

• アルゴリズムは、ハールウェーブレット基底の局所的構造を活用して、全変動値が有界な系列を効率的に表現・推定する。
• 推定誤差とノイズへの感受性のバランスを取るために、ハールウェーブレット領域で適応的しきい値処理を適用する。
• ノイズレベル $\sigma$ と系列長 $n$ に基づくデータ駆動型の正則化パラメータ選択を組み込むことで、未知の $C_n$ への適応が可能になる。
• 有界変動信号のハール変換におけるスパarsityを活用することで、$O(n\log n)$ の実行時間を持つ。
• 集中不等式とウェーブレット固有の性質を組み合わせて、累積二乗誤差を評価する。
• アルゴリズムの設計は、線形予測器（オンライン勾配降下法など）と対比され、これらは $\tilde{\Omega}(\sqrt{n})$ の劣化を被ることを示している。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的で多項式時間のアルゴリズムが、未知の $C_n$ を持つ全変動値が有界な系列のオンライン予測において、最適な $n^{1/3}$ レートを達成できるか。
• RQ2 サブガウスノイズが存在する全変動値制約下でのオンライン予測の根本的限界は何か。
• RQ3 なぜ標準的な線形予測器（オンライン勾配降下法など）は、この設定で最適レートに到達できないのか。
• RQ4 ウェーブレットベースの手法をどのように活用することで、計算的効率性と統計的最適性の両方を達成できるか。
• RQ5 未知の滑らかさパラメータへの適応性が、この文脈における予測性能をどの程度向上させるか。

主な発見

• 提案アルゴリズムは、高い確率で累積二乗誤差が $\tilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ に抑えられ、情報理論的下界に対して対数要因を除いて一致する。
• アルゴリズムは $O(n\log n)$ の時間で実行され、この問題に対して最適な $n^{1/3}$ レートを達成する最初の多項式時間手法である。
• 事前に $C_n$ を知る必要がなく、$C_n$ が未知であるという点で、従来の手法に比べて大きな利点を有する。
• 解析により、オンライン勾配降下法や類似の線形予測器は $\tilde{\Omega}(\sqrt{n})$ の劣化を被ることを示しており、最適レートに到達できないことが証明された。
• ハールウェーブレットの使用により、局所的信号構造を活かすことで、計算的効率性と統計的最適性の両方を達成できる。
• 本研究は、ウェーブレット平滑化手法と最適なオンライン予測の間の緊密な関係を確立し、古典的結果をオンライン設定に拡張した。