[論文レビュー] Efficient Training on Very Large Corpora via Gramian Estimation

Walid Krichene, Nicolas Mayoraz+6 more|arXiv (Cornell University)|Jul 18, 2018

Topic Modeling参考文献 27被引用数 7

ひとこと要約

この論文では、非線形埋め込みモデルを非常に大きなコーパス上で効率的に学習するためのSOGramおよびSAGramを提案する。未観測ペアのコストが二次的に増加する反発ペナルティ項を、未観測ペアの高価なサンプリングを避けるために、グラミアン行列の確率的勾配更新による推定によって処理する。この手法は、標準的なサンプリングベースの手法と比較して、特に大規模データセットにおいて、著しく高速な学習とより優れた一般化性能を達成しており、検証MAPが最大33.2%向上する。

ABSTRACT

We study the problem of learning similarity functions over very large corpora using neural network embedding models. These models are typically trained using SGD with sampling of random observed and unobserved pairs, with a number of samples that grows quadratically with the corpus size, making it expensive to scale to very large corpora. We propose new efficient methods to train these models without having to sample unobserved pairs. Inspired by matrix factorization, our approach relies on adding a global quadratic penalty to all pairs of examples and expressing this term as the matrix-inner-product of two generalized Gramians. We show that the gradient of this term can be efficiently computed by maintaining estimates of the Gramians, and develop variance reduction schemes to improve the quality of the estimates. We conduct large-scale experiments that show a significant improvement in training time and generalization quality compared to traditional sampling methods.

研究の動機と目的

• 非線形埋め込みモデルの学習における計算非効率性を解消する。これは、反発ペナルティ項における未観測ペアの数が二次的に増加するためである。
• コーパスサイズが増加するにつれて性能が低下する従来のサンプリング手法の限界を克服する。これは、精度を維持するためには大きなサンプルサイズを必要とするためである。
• 非線形モデルにおける行列分解にインspiredされたグラミアン定式化を活用し、左および右の埋め込みが両方非線形である場合に、グラミアン行列のステディステート推定を維持する。
• サンプルサイズを増加させずに勾配推定の精度を向上させるための分散低減技術を開発する。
• より良いグローバルペナルティ項の推定が、大規模な設定における一般化性能の向上と収束の高速化に寄与することを示す。

提案手法

• グローバル反発ペナルティを2つの一般化グラミアン行列の行列内積として定式化し、行列演算による効率的な勾配計算を可能にする。
• ミニバッチ更新を用いて左および右のグラミアン行列の確率的推定値を維持し、分散低減のため別々の学習率αを用いる。
• SOGram（Stochastic Optimal Gramian）およびSAGram（Stochastic Averaged Gramian）を、グラミアンの分散低減推定器として提案する。SAGramは過去の推定値のランニング平均を用いる。
• 推定されたグラミアンを用いてペナルティ項の閉形式勾配を導出する。これにより、未観測ペアの明示的サンプリングなしに、エンドツーエンドのバックプロパゲーションが可能になる。
• 推定された勾配を標準的なSGD学習に統合し、未観測ペアのサンプルを推定ペナルティ項に置き換える。
• バイアスと分散のバランスを取るために、グラミアン更新用の学習率を段階的に減少させ、収束性および最終的なモデル性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 非線形埋め込みモデルにおけるグローバル反発ペナルティ項は、未観測ペアを大量にサンプリングせずに、効率的に推定可能か？
• RQ2 グラミアン推定の品質は、大規模な埋め込み学習における学習速度および一般化性能にどのように影響するか？
• RQ3 SAGramのような分散低減技術は、非線形モデルにおける勾配推定の安定性と正確性を向上させることができるか？
• RQ4 グラミアン推定におけるバイアスと分散のトレードオフは何か？ そして、モデルの収束性および最終的性能にどのように影響するか？
• RQ5 非常に大きなコーパス上でのトレーニング時間および一般化性能の観点から、提案手法はサンプリングベースの手法よりもスケーラブルか？

主な発見

• 英語コーパスにおいて、SOGramはベースラインのサンプリング手法と比較して、最終的な検証MAPが最大33.2%向上した。2時間のトレーニング予算で、サンプリング手法が50時間以上学習した結果を上回った。
• フランス語コーパスでは、SOGramがサンプリング手法と比較して検証MAPを30.7%向上させ、大規模コーパス上での顕著な向上を示した。
• バッチサイズ128でSOGramを用いることで、バッチサイズ1024でサンプリングする場合と同等のグラミアン推定品質が達成され、計算コストが削減された。
• バイアスと分散のトレードオフは実証的に検証された：学習率α = 0.001では最終的性能が優れていたが、初期収束は遅かった。一方、高いα値はバイアスを低減したが、分散を増加させた。
• SOGramは、一般化性能を向上させる一方で、トレーニングセットの性能を劣化させない。これは、より良いグローバルペナルティ項の推定が正則化として機能することを示唆している。
• アブレーションスタディでは、SAGramが最も正確なグラミアン推定を達成し、サンプリングおよびSOGramを上回ったが、メモリコストが高かった。