[論文レビュー] Following the Leader and Fast Rates in Linear Prediction: Curved Constraint Sets and Other Regularities

Ruitong Huang, Tor Lattimore+2 more|arXiv (Cornell University)|Feb 10, 2017

Advanced Bandit Algorithms Research被引用数 13

ひとこと要約

本稿では、損失関数が曲がっている（例えば強い凸性を有する）場合に限らず、制約集合の境界が曲がっている場合にも、フォローザリーダー（FTL）アルゴリズムがオンライン線形予測において対数的レジストを達成することを確立している。具体的には、意思決定集合が強く凸であり、損失ベクトルの平均のノルムがゼロから離れている場合に該当する。これは、損失関数の曲がりに依存しない、オンライン学習における高速レートのための新たなメカニズムを示している。

ABSTRACT

The follow the leader (FTL) algorithm, perhaps the simplest of all online learning algorithms, is known to perform well when the loss functions it is used on are convex and positively curved. In this paper we ask whether there are other "lucky" settings when FTL achieves sublinear, "small" regret. In particular, we study the fundamental problem of linear prediction over a non-empty convex, compact domain. Amongst other results, we prove that the curvature of the boundary of the domain can act as if the losses were curved: In this case, we prove that as long as the mean of the loss vectors have positive lengths bounded away from zero, FTL enjoys a logarithmic growth rate of regret, while, e.g., for polytope domains and stochastic data it enjoys finite expected regret. Building on a previously known meta-algorithm, we also get an algorithm that simultaneously enjoys the worst-case guarantees and the bound available for FTL.

研究の動機と目的

• フォローザリーダー（FTL）が、損失関数が曲がっている場合に限らず、オンライン線形予測においてサブ線形レジストを達成できるかどうかを調査すること。
• 意思決定集合やデータにどのような構造的正則性が、FTLの高速レジストレートをもたらすかを同定すること。
• 制約集合境界の強い凸性と、非退化な損失平均の組み合わせが、敵対的設定下で対数的レジストを可能にすることを確立すること。
• 導出されたレジストバウンドのタイトネスを示すために、一致する下界を提示すること。

提案手法

• 著者たちは、コンパクトで凸な意思決定集合上でオンライン線形予測の文脈におけるFTLを分析している。
• 幾何的条件を導入している：制約集合の境界が強く凸（曲がっている）ことで、これが高速レートを可能にする正則性として機能する。
• 損失関数が線形であっても、意思決定集合境界の曲がりを活用してレジストバウンドを導出している。
• 最悪ケースのロバストネスと、有利な正則性下での高速レートを併せ持つメタアルゴリズムを構築している。
• 主な技術的ツールには、集中不等式と、特に法線錐とサポート関数を含む双対空間の幾何的解析が含まれる。
• 証明技法では、損失ベクトルと制約集合境界の法線との間の角度をバウンドすることでレジストを評価し、曲がりの性質を活かして十分な進捗を保証している。

実験結果

リサーチクエスチョン

• RQ1 損失関数が線形であっても、意思決定集合の境界が曲がっている場合、FTLはオンライン線形予測においてサブ線形レジストを達成できるか？
• RQ2 意思決定集合境界の強い凸性が、損失関数に曲がりがない場合でも、FTLの高速レジストレートを可能にする正則性として機能するか？
• RQ3 このような幾何的正則性下で、FTLが達成可能な最適なレジストレートは何か？ そして、それはタイトか？
• RQ4 1つのアルゴリズムが、有利な条件下で最悪ケースのロバストネスと高速レートを同時に達成できるか？

主な発見

• 意思決定集合が強く凸であり、損失ベクトルの平均のノルムがゼロから離れている場合、FTLはオンライン線形予測において対数的レジストを達成する。
• 制約集合境界の曲がりが、損失関数の曲がりの代わりとして機能し、損失関数が線形であっても高速レートを可能にする。
• 確率的データを伴う多面体領域では、FTLは有限の期待レジストを達成しており、これは最悪ケースの線形レジストに比べて顕著な改善を示している。
• 最悪ケースの保証と、有利な条件下でのFTLの高速レートを併せ持つメタアルゴリズムが提案されている。
• 本稿では一致する下界が確立されており、導出された対数的レジストバウンドが対数的要因の範囲でタイトであることを示している。
• 結果として、制約集合における幾何的正則性が、損失関数の曲がりと同等に、オンライン学習における高速レート達成に有効であることが示された。