[論文レビュー] Fully Implicit Online Learning

Chaobing Song, Ji Liu+3 more|arXiv (Cornell University)|Sep 25, 2018

Machine Learning and Algorithms参考文献 21被引用数 6

ひとこと要約

本稿では、任意のBregman発散を用いて損失関数および正則化項の両方を正確に最小化（implicit update）する、完全にimplicitなオンライン学習フレームワークであるFully Implicit Online Learning (FIOL)を提案する。凸設定では$O(\sqrt{T})$のレグレットを達成し、強い凸設定では$O(\log T)$のレグレットを達成する。線形化誤差を回避することで1ステップの改善効果が得られ、線形化手法と同等の複雑度を持つ効率的なアルゴリズムにより、非自明な部分問題を効率的に解ける。

ABSTRACT

Regularized online learning is widely used in machine learning applications. In online learning, performing exact minimization ($i.e.,$ implicit update) is known to be beneficial to the numerical stability and structure of solution. In this paper we study a class of regularized online algorithms without linearizing the loss function or the regularizer, which we call \emph{fully implicit online learning} (FIOL). We show that for arbitrary Bregman divergence, FIOL has the $O(\sqrt{T})$ regret for general convex setting and $O(\log T)$ regret for strongly convex setting, and the regret has an one-step improvement effect because it avoids the approximation error of linearization. Then we propose efficient algorithms to solve the subproblem of FIOL. We show that even if the solution of the subproblem has no closed form, it can be solved with complexity comparable to the linearized online algoritms. Experiments validate the proposed approaches.

研究の動機と目的

• OGDのような線形化オンライン学習手法に見られる数値的不安定性や正則化項の構造の不十分な活用といった限界を解消すること。
• 損失関数および正則化項の両方に対してimplicit更新を実行する統一的な理論的枠組みを構築し、線形化誤差を回避すること。
• FIOLで生じるimplicit部分問題を解くための効率的な計算アルゴリズムを提供すること、特に$\ell_1$-正則化問題に対して。
• 損失関数および正則化項の両方に対するimplicit更新が、明示的または部分的にimplicitな手法と比較して、より良いレグレットバウンドと数値的安定性をもたらすことを示すこと。

提案手法

• 損失関数および正則化項の両方を各反復で正確に最小化するFully Implicit Online Learning (FIOL)を提案し、正則化項としてBregman発散を用いる。
• 一般のBregman発散$B_\psi(\mathbf{w}, \mathbf{w}_t)$を用いて更新を定義することで、ユークリッド距離やマハラノビス距離を超える柔軟性を実現する。
• 一般凸関数に対して$O(\sqrt{T})$、強い凸関数に対して$O(\log T)$のレグレットバウンドを導出。線形化誤差を用いて1ステップの改善効果を定量的に評価。
• 一般ERM問題の部分問題を$\epsilon$-精度で解くためのバイセクション法を提案し、$O(d\log \frac{1}{\epsilon})$時間で解ける。
• $\ell_1$-正則化部分問題を正確に解くための決定的$O(d\log d)$および確率的$O(d)$期待時間アルゴリズムを提案。
• SGD、COMID、I-SGD、PAとの比較を可能にする共通フレームワークを採用し、データ相関およびノイズレベルの変動下での性能を評価。

実験結果

リサーチクエスチョン

• RQ1 損失関数および正則化項の両方に対するimplicit更新が、線形化または部分的にimplicitな手法と比較して、より良いレグレットバウンドを達成できるか？
• RQ2 FIOLにおける任意のBregman発散の使用が、理論的保証を維持しながら柔軟性と数値的安定性を向上させるか？
• RQ3 特に$\ell_1$-正則化問題に対して、非自明な部分問題を効率的かつスケーラブルに解くアルゴリズムを設計できるか？
• RQ4 データ相関およびノイズ条件の変動下において、FIOLは既存のオンライン学習手法と比較して実用的に優れた性能を示すか？

主な発見

• FIOLは一般凸関数に対して$O(\sqrt{T})$のレグレット、強い凸関数に対して$O(\log T)$のレグレットを達成し、線形化の近似誤差によって定量化された1ステップの改善効果が得られる。
• 提案されたバイセクション法により、一般ERM部分問題が$O(d\log \frac{1}{\epsilon})$時間で$\epsilon$-精度で解ける。線形化手法と同等の複雑度である。
• $\ell_1$-正則化問題では、決定的アルゴリズムが$O(d\log d)$時間、確率的アルゴリズムが$O(d)$の期待時間で部分問題を正確に解ける。
• 実験では、FIOLに基づくアルゴリズム（Alg. 2およびAlg. 3）が特徴量相関に対してロバストで、スパarsityを効果的に誘導し、安定性およびスパarsityの観点でSGDやCOMIDを上回ることが示された。
• 同じ実行時間内では、implicit損失更新によりより大きな有効ステップサイズが可能となり、Alg. 2およびAlg. 3はI-SGDよりも大きな目的関数の低下を達成した。
• 提案されたアルゴリズムは、損失関数および正則化項の両方をimplicitに更新する完全なimplicitオンライン学習問題を、初めて効率的に解けるものである。