[論文レビュー] Online Learning to Sample

Guillaume Bouchard, Théo Trouillon+2 more|arXiv (Cornell University)|Jun 30, 2015

Advanced Bandit Algorithms Research参考文献 21被引用数 18

ひとこと要約

本稿では、勾配の分散を低減するためにトレーニング例のサンプリング分布を動的に最適化するオンライン学習手法である、適応的加重確率的勾配降下法（AW-SGD）を提案する。2番目のSGDプロセスを用いてモデルパラメータと重要度サンプリング重みを同時に学習することで、画像分類、行列分解、強化学習のタスクにおいて、データアクセス時間が著しく異なる場合に最大100倍の高速化を達成する。

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the most widely used techniques for online optimization in machine learning. In this work, we accelerate SGD by adaptively learning how to sample the most useful training examples at each time step. First, we show that SGD can be used to learn the best possible sampling distribution of an importance sampling estimator. Second, we show that the sampling distribution of an SGD algorithm can be estimated online by incrementally minimizing the variance of the gradient. The resulting algorithm - called Adaptive Weighted SGD (AW-SGD) - maintains a set of parameters to optimize, as well as a set of parameters to sample learning examples. We show that AWSGD yields faster convergence in three different applications: (i) image classification with deep features, where the sampling of images depends on their labels, (ii) matrix factorization, where rows and columns are not sampled uniformly, and (iii) reinforcement learning, where the optimized and exploration policies are estimated at the same time, where our approach corresponds to an off-policy gradient algorithm.

研究の動機と目的

• トレーニング例の最適かつ適応的なサンプリング分布を学習することで、確率的勾配降下法（SGD）の速度を向上させること。
• サンプリング分布を学習可能なパラメータとして扱うことにより、オンライン学習における勾配推定の分散を低減すること。
• サンプリング分布の学習を主な最適化ループに統合し、モデルとサンプリング戦略を同時に最適化すること。
• データアクセス特性が異なる多様な機械学習アプリケーションにおいて、本手法の有効性を示すこと。
• サンプリング重みの学習に伴うオーバーヘッドが、特にデータアクセス時間が不均一な環境下で収束の高速化によって相殺されることを示すこと。

提案手法

• AW-SGDは、モデルパラメータ $w_t$ とサンプリング分布パラメータ $\tau_t$ の2つの並列されたSGDプロセスを用いる。
• サンプリング分布 $q(x; \tau_t)$ は、勾配推定器の分散の勾配を用いてオンラインで更新される。
• $\tau_t$ の更新ルールは、勾配推定の分散を最小化するように導出され、更新方向として $\|d_t\|^2 \nabla_\tau \log q(x_t; \tau_t)$ を用いる。
• アルゴリズムは、データアクセス時間の関数としてアクセスコストをモデル化する時間に配慮したバージョンを維持しており、I/O制約のある環境で高速化を実現する。
• 本手法は一般性を持ち、変分推論や対数パーティション推定を含む、期待値が扱いにくい目的関数に適用可能である。
• 制御変数やメタラーニングフレームワークへの応用を可能とするため、他のアルゴリズムを最適化または指導する方法を学習できる。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下法を用いて、勾配の分散を最小化する最適なサンプリング分布を学習できるか？
• RQ2 サンプリング分布とモデルパラメータを同時に学習することで、一様サンプリングに比べて収束が速くなるか？
• RQ3 データアクセス時間が不均一な環境（分散型または遅いストレージシステム）において、AW-SGDの性能はどのようにスケーリングするか？
• RQ4 AW-SGDは、標準的な教師あり学習を越えて、行列分解や強化学習のような非一様サンプリング問題にも一般化可能か？
• RQ5 サンプリング分布の学習に伴う計算コストと収束の高速化のトレードオフは何か？

主な発見

• データアクセス時間が著しく異なる場合（例：HDDから読み込み、f=50,000）、標準的なSGDに比べてAW-SGDは最大100倍の高速化を達成する。
• ネットワークメモリ（f=5000）の環境では、AW-SGDはSGDに比べて10倍の高速化を達成し、I/O制限のある環境でも顕著な性能向上を示す。
• f≥200（SSDレベルのアクセス）の環境では、時間に配慮したAW-SGDが標準的なSGDを上回り、サンプリングのオーバーヘッドがより知的なサンプリングによって相殺されていることを示している。
• 画像分類および行列分解のタスクでは、データアクセスが一様であっても、分散低減のおかげでAW-SGDが標準的なSGDよりも速く収束する。
• アクセス時間が一様な状況では、AW-SGDが標準的なSGDと同等の収束速度を維持しており、有利な条件下で性能が劣化しないことを確認している。
• 本手法はドメインに跨る一般化性が高く、深層学習、行列分解、強化学習の分野で一貫した改善を示している。