[論文レビュー] Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses

Dominik Csiba, Peter Richtárik|arXiv (Cornell University)|Jun 7, 2015

Stochastic Gradient Optimization Techniques参考文献 22被引用数 17

ひとこと要約

本稿は、任意のミニバッチ化スキームと非凸損失関数をサポートする正則化された経験的リスク最小化のプライマル手法を導入する。平均損失が凸である限り収束を保証するデュアルフリー解析を活用する。凸損失関数ではQUARTZと同等の複雑度バウンドを達成し、非凸設定においても弱い条件下で初めての収束保証を提供する。柔軟なサンプリングにより、データ依存のレートが向上する。

ABSTRACT

In this work we develop a new algorithm for regularized empirical risk minimization. Our method extends recent techniques of Shalev-Shwartz [02/2015], which enable a dual-free analysis of SDCA, to arbitrary mini-batching schemes. Moreover, our method is able to better utilize the information in the data defining the ERM problem. For convex loss functions, our complexity results match those of QUARTZ, which is a primal-dual method also allowing for arbitrary mini-batching schemes. The advantage of a dual-free analysis comes from the fact that it guarantees convergence even for non-convex loss functions, as long as the average loss is convex. We illustrate through experiments the utility of being able to design arbitrary mini-batching schemes.

研究の動機と目的

• 機械学習における効率的かつスケーラブルな最適化を可能にする、任意のミニバッチ化スキームをサポートするL2正則化経験的リスク最小化のプライマル手法の開発。
• 任意のサンプリング分布に一般化されたデュアルフリー解析技術を拡張し、平均損失が凸であれば非凸損失関数に対しても収束を保証する。
• 問題固有のステップサイズパラメータとサンプリング確率を活用することで、データ構造をより効果的に活用し、データ依存の収束レートを向上させる。
• 期待リスクだけでなく、反復点と目的関数値の両方に対する理論的収束保証を提供し、実用的解釈可能性を高める。
• 特に分散環境やNUMA環境におけるロードバランシングやNUMA対応戦略の下で、柔軟なミニバッチ化の有効性を実験的に示す。

提案手法

• デュアル変数に依存しない収束解析を実行するプライマル更新スキームを採用し、より弱い仮定のもとで収束解析が可能になる。
• データインデックス上の柔軟なサンプリング分布を用い、任意の確率 $p_i$ を用いたi.i.d.なミニバッチ選択を可能にする。
• ステップサイズパラメータ $v_i$ をデータ依存的に導入し、$ \|A_i\|^2$ から算出することで収束レートを向上させる。
• 主な構成要素として、凸ケースではLyapunov関数 $E^{(t)}$、非凸ケースでは $D^{(t)}$ を用い、期待減少による線形収束を証明する。
• 個々の損失関数の $L_i$-スムーズ性と全体の目的関数の $L$-スムーズ性を活用し、収束レートを導出する。
• 正則化された目的関数 $P(w)$ の強い凸性と個々の $\phi_i$ の凸性を用いて、Lyapunov関数の期待減少量のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 平均損失が凸であれば、デュアルフリー解析を用いたプライマル手法が非凸損失関数に対しても収束を達成できるか？
• RQ2 非一様およびデータ依存のサンプリングを含む柔軟なミニバッチ化スキームは、ERMにおける収束レートにどのように影響するか？
• RQ3 任意のサンプリングをサポートしつつ、QUARTZのような最先端のプライマル・デュアル手法と同等の収束レートを達成できるか？
• RQ4 一様な手法と比較して、データ依存のステップサイズパラメータ $v_i$ が収束レートに与える影響は何か？
• RQ5 分散環境やNUMA環境におけるロードバランシング戦略（例：「チャンク化」）を用いた際、実用的性能はどのように変化するか？

主な発見

• 凸損失関数の場合、収束レートは $\max_i\left(\frac{1}{p_i} + \frac{l_i v_i}{\lambda p_i n}\right)\log\left(\frac{(L+\lambda)E^{(0)}}{\lambda\epsilon}\right)$ であり、レートはQUARTZと一致するが、データ依存のパラメータが改善されている。
• 平均損失が凸である非凸損失関数に対しては、収束レート $\max_i\left(\frac{1}{p_i} + \frac{L_i^2 v_i}{\lambda^2 p_i n}\right)\log\left(\frac{(L+\lambda)D^{(0)}}{\lambda\epsilon}\right)$ を達成し、初めてのデュアルフリー保証を提供する。
• 期待値における線形収束が保証され、$\mathbf{E}[E^{(t)}] \leq (1-\theta)^t E^{(0)}$ および $\mathbf{E}[D^{(t)}] \leq (1-\theta)^t D^{(0)}$ が成り立ち、Lyapunov関数の指数的減衰を証明する。
• 理論的解析により、収束は $v_i = \|A_i\|^2$ を通じてデータ構造に依存し、一様サンプリングや単純な $l_i\|A_i\|$ 評価と比較してより良いバウンドが得られることを示す。
• 実験により、特に「チャンク化」のようなロードバランシングシナリオにおいて、任意のミニバッチ化の実用的利点が明確に示された。無駄な待機時間を削減し、スループットを向上させる。
• 一様サンプリングでは $O((n + \kappa)\log(1/\epsilon))$ の複雑度を達成し、非加速化された最先端手法と同等の性能を示す。ここで $\kappa = \frac{\max_i l_i \|A_i\|^2}{\lambda}$ である。