[論文レビュー] Efficient improper learning for online logistic regression

Rémi Jézéquel, Pierre Gaillard+1 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 6

ひとこと要約

この論文は、$O(B\log(Bn))$ のレグレットスケーリングを達成する、ロジスティック回帰における効率的な不適切オンライン学習アルゴリズムであるAIOLIを紹介する。1ラウンドあたりの計算量は $O(d^2 + \log n)$ であり、適切なアルゴリズムが直面する $B$ に指数関数的に依存する問題を回避する。FTRLと疑似損失、およびVovkの集約アルゴリズムにインspiredされた不適切正則化を組み合わせることで、計算可能性を損なわずにオンライン設定において実用的で対数的レグレットを実現する。

ABSTRACT

We consider the setting of online logistic regression and consider the regret with respect to the 2-ball of radius B. It is known (see [Hazan et al., 2014]) that any proper algorithm which has logarithmic regret in the number of samples (denoted n) necessarily suffers an exponential multiplicative constant in B. In this work, we design an efficient improper algorithm that avoids this exponential constant while preserving a logarithmic regret. Indeed, [Foster et al., 2018] showed that the lower bound does not apply to improper algorithms and proposed a strategy based on exponential weights with prohibitive computational complexity. Our new algorithm based on regularized empirical risk minimization with surrogate losses satisfies a regret scaling as O(B log(Bn)) with a per-round time-complexity of order O(d^2).

研究の動機と目的

• 適切なオンラインロジスティック回帰アルゴリズムにおけるレグレットバウンドの $B$ への指数的依存を解消すること。これは、既知の下界のもとでは避けがたい。
• $n$ に対して対数的レグレットスケーリングを達成しつつ、適切な手法で見られる $B$ への指数的依存を回避する実用的なアルゴリズムの設計。
• 理論的に最適な不適切アルゴリズム（例：Vovkの集約アルゴリズム）と実装可能性のギャップを埋めるために、計算複雑性を低減すること。
• 不適切学習の適用範囲を、保証された効率的性能とともにオンラインロジスティック回帰に拡張すること。
• MCMCサンプリングに依存するような、計算コストが非常に高い既存の不適切アルゴリズムの代替手段として、計算的に実行可能であるが、性能を損なわない代替案を提供すること。

提案手法

• FTRLに疑似損失を組み合わせることで、効率的なオンライン更新を可能にする。
• Azoury-Warmuth-Vovk予測器にインspiredされた不適切正則化戦略を導入し、通常の半径 $B$ の $\ell_2$-ボールの外側の予測を許容する。
• 強い凸性と曲率への適応性を維持するように設計された疑似損失関数により、よりタイトなレグレットバウンドが可能になる。
• 正則化された経験的リスク最小化に基づく更新ルールを、慎重に設計された不適切正則化項とともに導出する。
• 1ラウンドあたりの計算量を $O(d^2 + \log n)$ に保ち、低ランク更新とFTRLフレームワーク内の数値安定性を活用する。
• MCMCサンプリングを回避するため、指数的重みの閉形式近似を用いることで、実用的な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 不適切オンライン学習アルゴリズムは、1ラウンドあたり多項式時間の計算量を備えつつ、オンラインロジスティック回帰で $O(B\log(Bn))$ のレグレットを達成できるか？
• RQ2 $n$ に対して対数的スケーリングを維持しつつ、$B$ への指数的依存を完全に排除することは可能か？
• RQ3 MCMCサンプリングに依存する既存の不適切アルゴリズムの計算複雑性を、レグレット保証を損なわずに低減することは可能か？
• RQ4 疑似損失設計は、ロジスティック損失のような非線形的・非凸的損失に対する効率的で不適切なオンライン学習を可能にする上で、どのような役割を果たすか？
• RQ5 不適切正則化を施したFTRLは、$B$ が有界な敵対的オンライン設定において、標準的な適切アルゴリズムを上回る性能を発揮できるか？

主な発見

• 提案されたAIOLIアルゴリズムは、$O(B\log(Bn))$ のレグレットバウンドを達成し、これは対数的要因を除いて最適であり、適切な手法で見られる指数的 $e^B$ 依存を回避する。
• 1ラウンドあたりの計算複雑性は $O(d^2 + \log n)$ であり、$O(B^6 n^{12}(Bn + d)^{12})$ の時間が必要となる先行の不適切手法よりも顕著に効率的である。
• シミュレーションにより、AIOLIは $n$ に対して多項式対数的成長を示すレグレットを達成することが確認され、$ one^2$-正則化を施した標準的なFTRLよりも優れた性能を示す。
• Hazanら（2014）の下界で想定された敵対的データ分布に対しても、AIOLIは強固な性能を維持する。これは、適切な手法の限界を露呈するような設定である。
• 非パラメトリックなロジスティック回帰（RKHS内）にも適用可能であるが、近似手法を用いない場合、計算コストは $O(n^3)$ にまで拡大する可能性がある。
• 理論的分析は、曲率パラメータが適応的であるような設定における不適切学習へと拡張可能であり、線形モデルを超えた幅広い適用可能性を示唆する。