[論文レビュー] Scale-Free Algorithms for Online Linear Optimization

Francesco Orabona, Dávid Pál|arXiv (Cornell University)|Feb 19, 2015

Advanced Bandit Algorithms Research参考文献 25被引用数 7

ひとこと要約

本稿では、損失ベクトルのノルムの上限を事前に知らなくてもよいように、スケールフリーなオンライン線形最適化のアルゴリズムを導入する。スケール不変性とFTRLフレームワークにおける適応的学習率を活用することで、著者らはAdaFTRLとSOLO FTRLを提案し、決定集合が有界でない場合でも、損失ベクトルの双対ノルムの二乗和の平方根に比例する最適なレジーレットバウンドを達成する。

ABSTRACT

We design algorithms for online linear optimization that have optimal regret and at the same time do not need to know any upper or lower bounds on the norm of the loss vectors. We achieve adaptiveness to norms of loss vectors by scale invariance, i.e., our algorithms make exactly the same decisions if the sequence of loss vectors is multiplied by any positive constant. Our algorithms work for any decision set, bounded or unbounded. For unbounded decisions sets, these are the first truly adaptive algorithms for online linear optimization.

研究の動機と目的

• 損失ベクトルノルムの上限を事前に必要とする既存のオンライン線形最適化アルゴリズムにおける適応性の欠如を是正すること。
• 任意の正の定数による損失ベクトルのスケーリングに対してその意思決定が変わらない、つまりスケール不変性を持つアルゴリズムの設計。
• 損失ベクトルノルムの上限を仮定しない、有界でない決定集合におけるオンライン線形最適化のための初のレジーレット最適なアルゴリズムの提供。
• ダブルイングトリックに依存しないネイティブな手法を導入することで、理論的レジーレットバウンドと実用的適応性のギャップを埋めること。
• 一般の凸決定集合を想定した、エキスパート予測から一般のオンライン線形最適化へのスケールフリー性の一般化。

提案手法

• 損失ベクトルの双対ノルムの累積和に基づいて導出される適応的学習率を備えた、FTRLに基づくAdaFTRLの開発。
• 現在までに観測された最大の双対ノルムに依存する学習率を持つ、新規のFTRLアルゴリズムSOLO FTRLの導入。これによりスケール不変性が実現される。
• 双対ノルムの累積和に逆比例するように学習率を設計することで、損失ベクトルのスケーリングに対して不変性を保つ。
• 強い凸正則化子をFTRLフレームワークに組み込むことで、強いレジーレット保証を維持しながら、適応的学習率を可能にする。
• レジーレットバウンドを三つの項に分解して証明する：正則化項、累積損失、適応的学習率の寄与。それぞれをノルムと和に関する補題を用いてバウンドする。
• 各次元に対して個別に学習率を適用することで、構造的決定集合への拡張を可能にし、次元全体にわたるスケール不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 損失ベクトルのノルムが未知かつ変動する状況において、事前の境界を必要とせずに、オンライン線形最適化アルゴリズムを真に適応可能にすることができるか？
• RQ2 有界でない決定集合において、非自明なレジーレットバウンドを達成するスケール不変なアルゴリズムを設計することは可能か？
• RQ3 スケールフリーなアルゴリズムのレジーレットバウンドは、損失ベクトルの双対ノルムに依存する点で、理論的下界とどのように比較されるか？
• RQ4 ダブルイングトリックやヒューリスティックな修正に依存せずに、スケールフリー性を自然に達成することは可能か？
• RQ5 タイトなレジーレットバウンドを達成するための、決定集合の直径と正則化子の上界の間の最適なトレードオフは何か？

主な発見

• AdaFTRLは、有界な決定集合に対して $ O\left(\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $ のレジーレットバウンドを達成し、損失ベクトルの双対ノルムに最適な依存関係を再現する。
• SOLO FTRLは、$ O\left(\max_{t \leq T}\|\ell_t\|_* \sqrt{T}\right) $ のレジーレットバウンドを達成し、有界でない集合に対して最適であり、最大損失ベクトルノルムに比例する。
• 任意のOLOアルゴリズムに対して、有界集合上での下界 $ \Omega\left(D\sqrt{\sum_{t=1}^{T}\|\ell_t\|_*^2}\right) $ が証明され、上界が定数倍の違いを除いてタイトであることが示された。
• 下界と上界のギャップは、$ \sqrt{\sup_{v\in K}f(v)} / D $ の比によって定量化され、ここで $ f $ は1強凸正則化子である。この比は正則化子選択の重要性を強調する。
• 提案されたアルゴリズムは、有界でない決定集合に対する真のスケールフリー手法の初の例であり、従来の適応的アルゴリズムが有界性や固定パラメータを必要としていたという制限を克服する。
• AdaFTRLおよびSOLO FTRLに、各次元ごとの学習率を適用可能であり、構造的最適化設定における既存のバウンドを一般化・改善する。