[論文レビュー] Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling

Xinyu Peng, Li Li+1 more|arXiv (Cornell University)|Mar 11, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 7

ひとこと要約

この論文は、ミニバッチ確率的勾配降下法（SGD）の高速化のため、バッチ選択中に代表的（典型的）な訓練サンプルを優先することで、勾配推定誤差を低減し、線形収束を可能にする典型性サンプリングを提案する。理論的仮定のもとで、標準的なミニバッチSGDよりも著しく高速である。この手法は密度ベースのサンプリングとt-SNE埋め込みを用い、実験的に合成データおよび実データで検証された。

ABSTRACT

Machine learning, especially deep neural networks, has been rapidly developed in fields including computer vision, speech recognition and reinforcement learning. Although Mini-batch SGD is one of the most popular stochastic optimization methods in training deep networks, it shows a slow convergence rate due to the large noise in gradient approximation. In this paper, we attempt to remedy this problem by building more efficient batch selection method based on typicality sampling, which reduces the error of gradient estimation in conventional Minibatch SGD. We analyze the convergence rate of the resulting typical batch SGD algorithm and compare convergence properties between Minibatch SGD and the algorithm. Experimental results demonstrate that our batch selection scheme works well and more complex Minibatch SGD variants can benefit from the proposed batch selection strategy.

研究の動機と目的

• 単純なランダムサンプリングによる高分散勾配推定が原因で生じるミニバッチSGDの収束遅延を解消する。
• 各バッチでより情報量の多い訓練サンプルを選択することで、深層学習における最適化効率を向上させる。
• 理論的および実験的に、典型的なサンプルを優先することで収束速度が向上することを示す。
• 密度推定とt-SNEを用いた実用的でスケーラブルなバッチ選択手法を開発し、実世界への導入を可能にする。
• 既存のSGD変種が更新ルールを変更せずに、提案されたバッチ選択戦略の恩恵を受けるかどうかを示す。

提案手法

• データ分布における代表性に応じてサンプルを優先する非一様バッチ選択戦略を導入し、典型性に基づくものとする。
• 局所的密度と空間的近接性を用いて典型性を定義し、高密度領域に位置するサンプルをより代表的とみなす。
• t-SNEを用いてデータ多様体を近似し、サンプルの典型性を効率的に計算する。
• 典型性に比例する確率でサンプリングする方式を定式化し、単純なランダムサンプリングに比べて勾配推定器の分散を低減する。
• 理論的分析により、標準的な仮定のもとで、得られる典型バッチSGDが線形収束を達成することが示され、標準的なミニバッチSGDを上回ることが分かった。
• オンライン密度推定を用いて反復毎に典型性を再計算しなくてもよくし、計算効率を確保する実装を行う。

実験結果

リサーチクエスチョン

• RQ1 データの典型性に基づく非一様バッチサンプリングは、ミニバッチSGDにおける勾配推定誤差を低減できるか？
• RQ2 典型性ベースのサンプリングは、ミニバッチSGDにおいて単純なランダムサンプリングに比べて収束が速くなるか？
• RQ3 提案手法は、高い計算オーバーヘッドを伴わずに実用的に実装可能か？
• RQ4 理論的仮定のもとで、典型バッチSGDの収束速度は標準的なミニバッチSGDに比べてどの程度優れているか？
• RQ5 既存のSGD変種は、提案されたバッチ選択戦略を統合することでどの程度恩恵を受けるか？

主な発見

• 理論的分析により、標準的な仮定のもとで典型バッチSGDが線形収束を達成することが証明され、標準的なミニバッチSGDよりも著しく高速であることが示された。
• 高典型性のサンプルを優先することで勾配推定誤差が低減され、全体のデータ分布をよりよく代表する。
• 合成データおよび自然データの実験結果から、収束速度の向上が一貫して観察され、特に初期学習段階で顕著であった。
• モデルアーキテクチャや損失関数の種類に関わらず、この手法は安定しており、学習速度と最終的な精度に明確な改善効果を示した。
• t-SNEと密度推定を用いた実装により、最小限の計算オーバーヘッドで効率的なバッチ選択が可能になった。
• データ分布が非一様な場合に特に顕著で、典型性サンプリングにより外れ値や低密度領域からのノイズの多い勾配を効果的に回避できた。