[論文レビュー] TAPAS: Two-pass Approximate Adaptive Sampling for Softmax

Yu Bai, Sally A. Goldman+1 more|arXiv (Cornell University)|Jul 10, 2017

Machine Learning and Algorithms参考文献 15被引用数 5

ひとこと要約

TAPASは、大ボキャブラリーなソフトマックスモデルの訓練を効率的に行うために、二段階の近似的適応的サンプリング手法を提案する。まず事前に定めた分布からサンプリングを行い、その後文脈とモデルパラメータに基づいてハードネガティブラベルを適応的に再サンプリングする。これにより、計算コストの増加を最小限に抑えながらランク損失を顕著に改善でき、合成データおよび実世界のデータセットにおいて最大30％のMAP向上が確認された。

ABSTRACT

TAPAS is a novel adaptive sampling method for the softmax model. It uses a two pass sampling strategy where the examples used to approximate the gradient of the partition function are first sampled according to a squashed population distribution and then resampled adaptively using the context and current model. We describe an efficient distributed implementation of TAPAS. We show, on both synthetic data and a large real dataset, that TAPAS has low computational overhead and works well for minimizing the rank loss for multi-class classification problems with a very large label space.

研究の動機と目的

• 大ボキャブラリーなソフトマックスモデルにおけるパーティション関数の計算コストの高さに対処すること。
• 非常に大きなラベル空間を有する多クラス分類における訓練の効率性とランク性能を向上させること。
• 文脈とモデル状態に基づいてハードネガティブサンプルを適応的に選択するサンプリング戦略を開発すること。
• 特にMAPのようなランクベースの指標において、モデルの精度を維持または向上させながら計算オーバーヘッドを最小限に抑えること。

提案手法

• TAPASは二段階のサンプリング戦略を用いる：まず、ユニグラムやパワー則などの事前に定義された分布からサンプリングし、次に予測されたロジットに基づいてより小さなサブセットを適応的に再サンプリングする。
• 適応的再サンプリングは、与えられた文脈に対して予測確率が高いラベルに焦点を当て、ハードネガティブを強調する。
• GPUの加速と分散トレーニングプラットフォームを活用して、計算オーバーヘッドを最小限に抑える。
• 既存のサンプリングソフトマックスおよび重要度サンプリングフレームワークと互換性があり、適応的サンプリングを統合して強化する。
• TensorFlowに実装されており、大規模なディープラーニングパイプラインへの統合を想定して設計されている。
• サンプリングプロセスは、パーティション関数の勾配を適応的サブセットでのみ近似することで、計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 二段階のサンプリング戦略は、計算コストを最小限に抑えながら、大ボキャブラリーなソフトマックスモデルにおけるランク性能を向上させることができるか？
• RQ2 文脈とモデルパラメータに基づく適応的再サンプリングは、固定または一様なサンプリングと比較して、ランク損失にどのように影響を与えるか？
• RQ3 TAPASは、モデルの精度を維持または向上させながら、どの程度トレーニングのオーバーヘッドを削減できるか？
• RQ4 TAPASは、フルソフトマックス損失と比較して、MAPのようなランクベースの指標をより効果的に最適化できるか？

主な発見

• 重なりのあるクラスタを持つ合成データセットでは、TAPASは再サンプルサイズrを増やすことで精度を向上させ、n=128, r=4がn=512, r=1と同等の精度を達成したが、4倍速くなった。
• 50万件のアイテムを有する実世界の動画推薦データセットでは、TAPASがn=1000, r=8でMAP@20が0.068を達成し、n=1000, r=1（0.050）と比較して30％の向上を示した。
• より小さな事前サンプルサイズでも、TAPAS（n=1000, r=8）はより大きなベースライン（n=8000, r=1）を上回り、MAP（0.068 vs. 0.067）が高く、速度面でも優れていた。
• rを1から8に増加させても、わずか10％のオーバーヘッドに抑えられ、適応的サンプリングにもかかわらず計算コストが低いことが示された。
• MAPの顕著な向上にもかかわらず、フルソフトマックス損失はわずかに上昇（9.10 → 9.34）したため、TAPASはクロスエントロピー損失ではなくランク損失を最適化していることが示された。