[論文レビュー] A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer

Tianbao Yang, Zhe Li+1 more|arXiv (Cornell University)|Sep 9, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用数 3

ひとこと要約

本稿は、任意の凸正則化子を用いた指数的凸性のある経験的最小化問題における高速収束レートを、単純で新規な解析によって提示する。覆いの数と濃度不等式のみを用いて、高確率的レート $ O(d\log n/n + d\log(1/\delta)/(n\sigma)) $ を達成した。これは、正則化付きおよび非正則化付きの指数的凸性問題の先行結果を統一的かつ拡張したものである。

ABSTRACT

In this paper, we present a simple analysis of {\bf fast rates} with {\it high probability} of {\bf empirical minimization} for {\it stochastic composite optimization} over a finite-dimensional bounded convex set with exponential concave loss functions and an arbitrary convex regularization. To the best of our knowledge, this result is the first of its kind. As a byproduct, we can directly obtain the fast rate with {\it high probability} for exponential concave empirical risk minimization with and without any convex regularization, which not only extends existing results of empirical risk minimization but also provides a unified framework for analyzing exponential concave empirical risk minimization with and without {\it any} convex regularization. Our proof is very simple only exploiting the covering number of a finite-dimensional bounded set and a concentration inequality of random vectors.

研究の動機と目的

• 高次元において、指数的凸性のある損失関数と任意の凸正則化子を有する経験的最小化問題について、高確率的収束レートを確立すること。
• 標準的なERM理論が得る $ O(\sqrt{d/n}) $ のレートが、指数的凸性問題では最適でないという制限を克服すること。
• 正則化付きおよび非正則化付きの指数的凸性のある経験的リスク最小化を統一的にカバーするフレームワークを提供すること。
• 複雑なアルゴリズム的解析や正則化子に関する強い仮定を除き、凸性のみを仮定する証明技法を開発すること。
• 期待値に関する最良の既知のレートに一致するが、高確率的保証を備えた高速レートを達成すること。

提案手法

• 有界かつ有限次元の凸集合の覆いの数を用いて、メトリックエントロピーを制御する。
• 確率的ベクトルに対する濃度不等式を適用し、経験的リスクとその期待値との乖離を制限する。
• 損失関数 $ f $ が $ \beta $-指数的凸性であり、正則化子 $ R $ が凸であるときの正則化目的関数 $ P_n(\mathbf{w}) = \frac{1}{n}\sum f(\mathbf{w}, \mathbf{z}_i) + R(\mathbf{w}) $ の経験的最小化子 $ \widehat{\mathbf{w}} $ を分析する。
• 一様な乖離制御を通じて、経験的リスクと真のリスクとの差を、$ \varepsilon $-ネットを用いたチェイン型の議論で評価する。
• 正則化子の高確率的解析を扱うために、有界関数 $ g(\mathbf{w}) $ を用いた摂動議論を導入する。
• 最終的なレートを得るために、$ \varepsilon = 1/n $、$ \alpha = \log(2/\delta)/n $ を設定し、$ \|\widehat{\mathbf{w}} - \mathbf{w}_*\|_2 \leq 2R $ の境界を活用する。

実験結果

リサーチクエスチョン

• RQ1 任意の凸正則化子を有する指数的凸性のある経験的リスク最小化問題について、高確率的条件下で高速収束レートを確立できるか？
• RQ2 正則化付きおよび非正則化付きの指数的凸性のあるERMを、同一のフレームワークで統一的に分析できるか？
• RQ3 覆いの数と濃度不等式に基づく単純な証明技法が、複雑な最適化アルゴリズムに依存せずに高速レートを達成できるか？
• RQ4 任意の凸正則化を伴う指数的凸性のあるERMの最適な高確率的レートは何か？
• RQ5 ブースティング技術を用いずに、レートにおける $ \log n $ 要因を除去することは可能か？

主な発見

• 本稿は、任意の凸正則化子を有する指数的凸性のある損失関数の経験的最小化子について、高確率的レート $ O\left(\frac{d\log n}{n} + \frac{d\log(1/\delta)}{n\sigma}\right) $ を確立した。
• この結果は、一般の凸正則化を想定した場合に、$ R(\mathbf{w}) $ が強い凸性を示さないまま、このようなレートを高確率的に達成する初のものである。
• 証明は素朴であり、覆いの数の境界と確率的ベクトルに対する濃度不等式にのみ依存する。
• このフレームワークは、正則化付きおよび非正則化付きの指数的凸性のあるERMの解析を統一し、両者に対して同一のレートを提供する。
• このレートは、期待値に関する最良の既知のレート（例：$ O(d/n) $）に $ \log n $ 要因を除き、現在の技術でタイトに達成可能な範囲である。
• 未解決の問題として、ブースティング技術を用いずに $ \log n $ 要因を除去できるかは、今後の研究の可能性を示唆している。