[論文レビュー] Logistic Regression: The Importance of Being Improper

Dylan J. Foster, Satyen Kale+3 more|arXiv (Cornell University)|Mar 25, 2018

Advanced Bandit Algorithms Research参考文献 23被引用数 13

ひとこと要約

本稿では、予測子ノルム $ B $ における依存性に関して、先行研究の境界と比べて二重指数的改善を達成する、オンラインロジスティック回帰の効率的な不正規学習アルゴリズムを導入する。このアルゴリズムは、ロジスティック損失の1-混合可能性を活用し、MCMCに基づくサンプリングを用いたVovkの集約アルゴリズムにより、オンラインバンディット多クラス学習および適応的ブースティングにおける未解決問題を解決し、最適なサンプル複雑度を達成する。

ABSTRACT

Learning linear predictors with the logistic loss---both in stochastic and online settings---is a fundamental task in machine learning and statistics, with direct connections to classification and boosting. Existing "fast rates" for this setting exhibit exponential dependence on the predictor norm, and Hazan et al. (2014) showed that this is unfortunately unimprovable. Starting with the simple observation that the logistic loss is $1$-mixable, we design a new efficient improper learning algorithm for online logistic regression that circumvents the aforementioned lower bound with a regret bound exhibiting a doubly-exponential improvement in dependence on the predictor norm. This provides a positive resolution to a variant of the COLT 2012 open problem of McMahan and Streeter (2012) when improper learning is allowed. This improvement is obtained both in the online setting and, with some extra work, in the batch statistical setting with high probability. We also show that the improved dependence on predictor norm is near-optimal. Leveraging this improved dependency on the predictor norm yields the following applications: (a) we give algorithms for online bandit multiclass learning with the logistic loss with an $ ilde{O}(\sqrt{n})$ relative mistake bound across essentially all parameter ranges, thus providing a solution to the COLT 2009 open problem of Abernethy and Rakhlin (2009), and (b) we give an adaptive algorithm for online multiclass boosting with optimal sample complexity, thus partially resolving an open problem of Beygelzimer et al. (2015) and Jung et al. (2017). Finally, we give information-theoretic bounds on the optimal rates for improper logistic regression with general function classes, thereby characterizing the extent to which our improvement for linear classes extends to other parametric and even nonparametric settings.

研究の動機と目的

• 既存のオンラインロジスティック回帰における高速レートの予測子ノルム $ B $ に依存する指数的依存性を克服すること。
• 2012年COLTの未解決問題の変種、すなわち不正規学習におけるレグレット境界の改善を達成すること。
• バッチ統計的設定における高確率的過剰リスク保証を提供すること。
• 2009年COLTの未解決問題、すなわちオンラインバンディット多クラス学習における相対的誤り回数境界の解決。
• 最適なサンプル複雑度を有する適応的多クラスブースティングアルゴリズムの開発。

提案手法

• ロジスティック損失の1-混合可能性を活用し、Vovkの集約アルゴリズムを用いて効率的な不正規学習を可能にする。
• MCMCに基づくサンプリング（例：投影ラングヴィンモンテカルロ）を用い、多項式時間内で集約予測分布を近似する。
• オンラインのレグレット境界をバッチ設定における高確率的過剰リスク境界に変換するために、修正された「信頼度を高める」スキームを適用する。
• 逐次的対称化およびチェインジングの議論を用い、結果を任意の関数クラスへ一般化する。
• サンプルされた重みのモンテカルロ平均を用いた滑らか化された経験的予測を導入し、不正規予測子を近似する。
• チェルノフ＝ホイーディングの不等式と全変動距離の制御を用い、サンプリング誤差による過剰損失が有界であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 オンラインロジスティック回帰のレグレット境界における予測子ノルム $ B $ に依存する指数的依存性は改善可能か？
• RQ2 ロジスティック損失を用いたオンラインバンディット多クラス学習において、$ \tilde{O}(\sqrt{n}) $ の相対的誤り回数境界を達成することは可能か？
• RQ3 最適なサンプル複雑度を有する適応的多クラスブースティングアルゴリズムを設計可能か？
• RQ4 一般の関数クラスにおける不正規ロジスティック回帰の予測子ノルム $ B $ に対する最適な依存関係は何か？
• RQ5 不正規学習を用いたオンラインからバッチへの変換により、バッチ設定で高確率的過剰リスク境界を達成可能か？

主な発見

• 提案されたアルゴリズムは、$ O(d\log(Bn)) $ のレグレット境界を達成し、オンラインニュートンステップの $ O(de^B\log n) $ の境界と比べて、二重指数的改善を実現する。
• アルゴリズムは、2009年COLTの未解決問題を解決し、すべてのパrameter範囲において、オンラインバンディット多クラス学習で $ \tilde{O}(\sqrt{n}) $ の相対的誤り回数境界を達成する。
• 最適なサンプル複雑度を有する適応的多クラスブースティングアルゴリズムが開発され、Beygelzimerら（2015年）およびJungら（2017年）の未解決問題の部分的解決を達成する。
• 修正された「信頼度を高める」技術を用い、バッチ設定で $ O(d\log(Bn)/n) $ の高確率的過剰リスク境界を達成する。
• 下界により、予測子ノルム $ B $ に対する $ \log(B) $ の依存性は改善できないことが示され、結果の近似的最適性が確認される。
• 逐次的メトリックエントロピーを用いた一般化により、任意の関数クラスへの応用が可能であり、改善の度合いがクラスの逐次的複雑性に依存することが示される。