[論文レビュー] Ordered SGD: A New Stochastic Optimization Framework for Empirical Risk Minimization

Kenji Kawaguchi, Haihao Lu|arXiv (Cornell University)|Jul 9, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 15

ひとこと要約

この論文では、訓練中の現在の損失がより高いサンプルを優先することで一般化性能を向上させる、新しい確率的最適化フレームワークであるOrdered SGDを提案する。標準的なSGDとは異なり、各ミニバッチ内で損失が上位$q$番目のサンプルに基づくバイアス付き勾配推定器を用いる。これにより、サブラインアー収束が達成され、ロジスティック回帰、SVM、ディープラーニングモデルのあらゆる分野でテスト精度が向上する。

ABSTRACT

We propose a new stochastic optimization framework for empirical risk minimization problems such as those that arise in machine learning. The traditional approaches, such as (mini-batch) stochastic gradient descent (SGD), utilize an unbiased gradient estimator of the empirical average loss. In contrast, we develop a computationally efficient method to construct a gradient estimator that is purposely biased toward those observations with higher current losses. On the theory side, we show that the proposed method minimizes a new ordered modification of the empirical average loss, and is guaranteed to converge at a sublinear rate to a global optimum for convex loss and to a critical point for weakly convex (non-convex) loss. Furthermore, we prove a new generalization bound for the proposed algorithm. On the empirical side, the numerical experiments show that our proposed method consistently improves the test errors compared with the standard mini-batch SGD in various models including SVM, logistic regression, and deep learning problems.

研究の動機と目的

• 訓練中に重要性に差があるにもかかわらず、すべてのサンプルを等しく扱う標準的SGDにおける均一サンプリングの制限を解消すること。
• 分類が難しい、または現在の損失がより高いサンプルに最適化を集中させることで、一般化性能を向上させること。
• 収束速度の加速ではなく、新たな目的関数を最小化することを目的とした、重要度サンプリングSGDの計算効率の良い代替手法を開発すること。
• 凸および弱凸（非凸）な設定において、収束性と一般化性能に関する理論的保証を提供すること。
• ディープニューラルネットワーク、ロジスティック回帰、SVMを含む多様なモデルにおいて、一貫したテスト誤差の改善を示すこと。

提案手法

• 各ミニバッチ内で、現在の損失が最も高い上位$q$個のサンプルを選択して勾配計算に使用する、新しいサンプリング戦略を提案する。
• ミニバッチ内の上位$q$個の損失サンプルのみを用いて、バイアス付き勾配推定器を構築する。定義は$\tilde{g}^t \in \partial L_Q(\theta^t)$で、$L_Q(\theta^t) = \frac{1}{q}\sum_{i\in Q} L_i(\theta^t)$である。
• データセット全体における上位$q$個の損失の平均を最小化する、新しい目的関数、順序付き経験的リスク$L_q(\theta)$を導入する。
• 上位$q$個の勾配推定器を用いた標準的なSGD更新則を用いる：$\theta^{t+1} = \theta^t - \eta_t \tilde{g}^t$。
• 既存のディープラーニングフレームワークと互換性があり、Adamなどの他の最適化アルゴリズムへも拡張可能である。
• 2段階プロセスを採用する：まずランダムなミニバッチをサンプリングし、その後で勾配計算用に上位$q$個の損失サンプルを貪欲に選択する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に高損失サンプルに注目することで、機械学習モデルの一般化性能が向上するか？
• RQ2 上位$q$個の損失サンプルに基づくバイアス付き勾配推定器は、無偏なSGDよりも収束性と一般化性能に優れるか？
• RQ3 提案手法の凸および弱凸（非凸）損失関数における理論的収束挙動はいかなるものか？
• RQ4 異なるモデルやデータセットにおいて、Ordered SGDの一般化性能は標準的なミニバッチSGDと比べてどの程度優れているか？
• RQ5 提案されたフレームワークは、AdamやAdaGradなどの他の最適化アルゴリズムへも拡張可能か？

主な発見

• 凸損失関数に対して、Ordered SGDはグローバル最適解へのサブラインアー収束を達成し、弱凸（非凸）損失関数に対しては臨界点への収束を達成する。
• 本手法は、標準的な経験的平均損失の変更版である、新しい目的関数である順序付き経験的リスク$L_q(\theta)$を最小化する。
• 一般分類および回帰問題に適用可能な、Ordered SGDのための新しい一般化バウンドを理論的に証明した。
• 数値実験では、SVM、ロジスティック回帰、ディープラーニングアーキテクチャを含む複数のモデルにおいて、Ordered SGDは標準的なミニバッチSGDよりも一貫して低いテスト誤差を達成した。
• ミニバッチSGDに最適な学習率を調整した場合でさえ、Ordered SGDは依然として低いテスト誤差を達成した（例：標準的な拡張を用いたCIFAR-10では6.46% vs. 6.94%）。
• 特にデータ拡張の下でも改善が顕著で（例：mixupを用いた場合7.85%の改善）、Ordered SGDのデータ拡張に対するロバスト性が示された。