[論文レビュー] Logistic Regression: Tight Bounds for Stochastic and Online Optimization

Elad Hazan, Tomer Koren+1 more|arXiv (Cornell University)|May 15, 2014

Advanced Bandit Algorithms Research参考文献 8被引用数 34

ひとこと要約

この論文は、確率的およびオンラインのロジスティック回帰における収束速度のタイトな下界を確立し、部分指数的反復回数の下で、ハッチンソン損失のような非滑らか損失を超える改善は達成できないことを示している。これは、2012年のCOLTでの未解決問題を解き、ロジスティック損失が、損失の形状に内在する幾何的制約のため、2次の最適化手法を用いても、$;(D/\sqrt{T})$ より速い多項式的-Dレートを実現できないことを証明している。

ABSTRACT

The logistic loss function is often advocated in machine learning and statistics as a smooth and strictly convex surrogate for the 0-1 loss. In this paper we investigate the question of whether these smoothness and convexity properties make the logistic loss preferable to other widely considered options such as the hinge loss. We show that in contrast to known asymptotic bounds, as long as the number of prediction/optimization iterations is sub exponential, the logistic loss provides no improvement over a generic non-smooth loss function such as the hinge loss. In particular we show that the convergence rate of stochastic logistic optimization is bounded from below by a polynomial in the diameter of the decision set and the number of prediction iterations, and provide a matching tight upper bound. This resolves the COLT open problem of McMahan and Streeter (2012).

研究の動機と目的

• 確率的およびオンライン設定におけるロジスティック損失の滑らかさと厳密凸性が、ハッチンソン損失のような非滑らか損失よりも速い収束速度をもたらすかを明らかにすること。
• McMahanとStreeter（2012年）が提起した、多次元オンライン・ロジスティック回帰における多項式的-Dレジット境界の存在に関するCOLT 2012での未解決問題を解くこと。
• 現実的で部分指数的反復回数の下での、ロジスティック回帰における最良の収束およびレジットレートを特定すること。
• 意思決定集合の直径 $D$ が、ロジスティック損失における2次最適化手法の性能を制限する役割を分析すること。

提案手法

• 最適解の周辺でほぼ線形な損失関数を誘発するように注意深く構築されたデータインスタンスの分布を用いて、確率的ロジスティック最適化の収束速度に対する下界を導出する。
• exp-凸性の概念を適用し、ロジスティック損失のヘッセ行列と勾配の関係を活用して、曲率特性を制約する。
• ロジスティック損失関数の区分的2次近似を用いて、$x_t w_t$ の符号の異なる状態でも主要な性質を保持する下界をもつ代替損失関数を構築する。
• 任意のアルゴリズムが $\widetilde{O}(\text{poly}(D)/T)$ レートを達成できると仮定すると、$\Omega(\sqrt{D/T})$ の導出された下界と矛盾することを示す還元論法を用いる。
• 1次元および多次元設定を別々に分析し、$n=1$ と $n\geq2$ の間に収束速度のフェーズ転移が生じることを明らかにする。
• 確率的勾配降下法による一致する上界を証明し、多次元設定において $O(D/\sqrt{T})$ レートが $;(D)$ 要因の範囲でタイトであることを示す。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化において、ロジスティック損失の滑らかさと厳密凸性が、ハッチンソン損失のような非滑らか損失よりも速い収束速度をもたらすか？
• RQ2 McMahanとStreeter（2012年）が予想したように、連続ラベルを伴うオンライン・ロジスティック回帰設定で、$O(\text{poly}(D)\log T)$ 形式のレジット境界は達成可能か？
• RQ3 反復回数 $T$ が直径 $D$ に対して部分指数的である場合に、確率的ロジスティック回帰の最良の収束速度は何か？
• RQ4 問題の次元（$n=1$ 対 $n\geq2$）が、最適収束速度に根本的なフェーズ転移をもたらすか？
• RQ5 オンラインニュートンステップのような2次最適化手法は、ロジスティック回帰において真に有利なのか、それとも $D$ に指数的依存を示すのか？

主な発見

• 確率的ロジスティック最適化の収束速度は、下界 $\Omega(\sqrt{D/T})$ で制限され、これは $\sqrt{D}$ 要因の差を除いて確率的勾配降下法のレートと一致する。これは滑らかさによる改善がないことを示している。
• 多次元設定（$n\geq2$）では、最適収束速度は $\Theta(D/\sqrt{T})$ であり、$T$ が $D$ の指数関数的に大きくない限り、$\widetilde{O}(\text{poly}(D)/T)$ レートは達成不可能である。
• 1次元ロジスティック回帰（$n=1$）では、最適収束速度は $\Theta(T^{-2/3})$ であり、次元に応じた収束挙動のフェーズ転移が示されている。
• この論文は、COLT 2012での未解決問題を解き、連続ラベルを伴う一般の多次元オンライン設定では、$O(\text{poly}(D)\log T)$ レジット境界が存在しないことを証明した。
• 解析により、先行研究におけるデータ依存パラメータ（例：BachとMoulines, 2013 の $\rho$）が最悪ケースで $D$ に対して指数的に大きくなる必要があることが示され、実用的高速レートの有効性が否定された。
• 下界は $T = O(e^D)$ の範囲に適用可能であり、これは実用的に関連のある部分指数的反復回数に対応する。これは $T \to \infty$ を仮定する漸近的境界とは対照的である。