[論文レビュー] Online Linear Optimization via Smoothing

Jacob Abernethy, Chansoo Lee+2 more|arXiv (Cornell University)|May 23, 2014

Advanced Bandit Algorithms Research参考文献 25被引用数 29

ひとこと要約

本稿では、滑らか化された損失関数における確率的勾配降下法を活用することで、オンライン線形最適化のための滑らか化に基づくアプローチを提案する。本稿は、滑らか化された目的関数のヘッセ行列が、正の対角成分、負の非対角成分、およびゼロのトレースを持つ構造的性質を持つことを確立し、敵対的環境下での有界なトレースと改善された収束保証を可能にする。

ABSTRACT

We present a new optimization-theoretic approach to analyzing Follow-the-Leader style algorithms, particularly in the setting where perturbations are used as a tool for regularization. We show that adding a strongly convex penalty function to the decision rule and adding stochastic perturbations to data correspond to deterministic and stochastic smoothing operations, respectively. We establish an equivalence between "Follow the Regularized Leader" and "Follow the Perturbed Leader" up to the smoothness properties. This intuition leads to a new generic analysis framework that recovers and improves the previous known regret bounds of the class of algorithms commonly known as Follow the Perturbed Leader.

研究の動機と目的

• 敵対的フィードバック下でのオンライン線形最適化の課題に対処するため、滑らか化技術を導入すること。
• 確率的勾配の文脈において、滑らか化された目的関数のヘッセ行列の構造を分析すること。
• 収束解析を支援するため、ヘッセ行列のトレースに対する境界を導出すること。
• ノイズ下での最大選択の確率的性質から、ヘッセ行列が正の対角成分と負の非対角成分を持つことを確立すること。
• ヘッセ行列のすべての成分の和がゼロであることを示し、これによりヘッセ行列の総変動に対するトレースに基づく境界が得られること。

提案手法

• 独立したガウスノイズ $ u $ を用いた滑らか化技術を導入し、目的関数がほとんど確実に微分可能であるようにすること。
• 期待勾配 $ H = \mathbb{E}[e_{i^*(\Theta + \eta u)} u^T] $ を定義する。ここで $ e_i $ は標準基底ベクトルである。
• 選択インジケータとノイズベクトルの外積の期待値としてヘッセ行列 $ H $ を分析すること。
• 対角成分 $ H_{ii} $ が正であることを示し、これは $ u_i > 0 $ のとき $ i $ が最大値をとる確率が高いためである。
• 非対角成分 $ H_{ij} $（$ i \neq j $）が負であることを示し、これは $ u_i $ と $ u_j $ が目的関数を最大化するために逆相関するためである。
• ヘッセ行列 $ H $ のすべての成分の和がゼロであることを証明し、これにより $ \sum_{i,j} |H_{ij}| = 2 \mathrm{Tr}(H) $ という恒等式が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズの追加が、オンライン線形最適化における微分可能性とヘッセ行列の構造にどのように影響するか？
• RQ2 滑らか化されたオンライン最適化フレームワークにおけるヘッセ行列の符号と和の性質は何か？
• RQ3 ヘッセ行列のトレースは有界に抑えられるか？ これは収束にどのような意味を持つのか？
• RQ4 ヘッセ行列の正の対角成分と負の非対角成分は、最大インデックスの確率的選択からどのように生じるか？
• RQ5 ヘッセ行列成分の和とトレースの関係は何か？ これによりトレースに基づく境界がどのように導かれるか？

主な発見

• ヘッセ行列 $ H $ の対角成分はすべて正であり、これは $ u_i > 0 $ のとき座標 $ i $ が最大値をとる可能性が高いためである。
• ヘッセ行列のすべての非対角成分は負であり、これは異なる座標におけるノイズの間で選択確率が逆相関するためである。
• ヘッセ行列のすべての成分の和はゼロである。これは $ \mathbb{E}[\sum_j u_j] = 0 $ であるためである。
• ヘッセ行列の全変動（成分の絶対値の和）は $ \sum_{i,j} |H_{ij}| = 2 \mathrm{Tr}(H) $ を満たし、これによりトレースと直接的に関連づけられる。
• ヘッセ行列のトレースは有界であるため、滑らか化を用いたオンライン最適化における収束レートの導出を支援する。
• 構造的ヘッセ行列の性質により、敵対的オンライン学習環境下での確率的勾配降下法のより鋭い解析が可能になる。