[論文レビュー] Extreme Classification via Adversarial Softmax Approximation

Robert Bamler, Stephan Mandt|ArXiv.org|Feb 15, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 7

ひとこと要約

本稿では、極端な分類における敵対的ネガティブサンプリングを提案する。学習された補助モデルを用いて情報量の多いネガティブサンプルを生成することで、勾配の分散を低減し、学習を高速化する。データ分布を模倣するモデルからサンプリングすることで、ベースラインと比較して最大10倍速い収束を達成し、高精度を維持する。推論時におけるバイアスは正確な定量によって補正される。

ABSTRACT

Training a classifier over a large number of classes, known as 'extreme classification', has become a topic of major interest with applications in technology, science, and e-commerce. Traditional softmax regression induces a gradient cost proportional to the number of classes $C$, which often is prohibitively expensive. A popular scalable softmax approximation relies on uniform negative sampling, which suffers from slow convergence due a poor signal-to-noise ratio. In this paper, we propose a simple training method for drastically enhancing the gradient signal by drawing negative samples from an adversarial model that mimics the data distribution. Our contributions are three-fold: (i) an adversarial sampling mechanism that produces negative samples at a cost only logarithmic in $C$, thus still resulting in cheap gradient updates; (ii) a mathematical proof that this adversarial sampling minimizes the gradient variance while any bias due to non-uniform sampling can be removed; (iii) experimental results on large scale data sets that show a reduction of the training time by an order of magnitude relative to several competitive baselines.

研究の動機と目的

• 極端な分類において、クラス数Cに比例して学習コストが増加するソフトマックス回帰の高い計算コストに対処すること。
• 一様サンプリングによるネガティブサンプリングの品質が低いことによる勾配品質の悪化を改善すること。
• Cに対して対数的コストで高品質なネガティブサンプルを生成できるスケーラブルな手法を開発すること。
• 入力特徴量から本物のラベルと区別がつかないような現実的で難しいネガティブサンプルを生成できる補助モデルを設計すること。
• 非一様サンプリングによって生じるバイアスを正確に定量・除去する数学的枠組みを提供し、推論時の一貫性を保証すること。

提案手法

• ネガティブサンプルを一様事前分布ではなく、条件付き分布p(y| x)から抽出する一般化されたネガティブサンプリングフレームワークを提案する。
• 入力特徴量に対して、真のラベルと統計的に類似したネガティブラベルを生成するように学習する敵対的補助モデルを導入し、勾配の分散を最小化する。
• 効率的なO(log C)サンプリングと最小限のハイパーパrameterチューニングで事前学習可能な確率的決定木を補助モデルとして採用する。
• 勾配分散が最小化される理論的条件を導出し、補助モデルがデータ分布を正確に模倣する場合に最適性が保証されることを示す。
• 非一様サンプリングによって生じる近似誤差を推論時に正確に除去するバイアス補正機構を導入する。
• 訓練目的関数を完全なソフトマックス損失の確率的近似として定式化し、勾配更新を少数の敵対的ネガティブサンプルのみで計算する。

実験結果

リサーチクエスチョン

• RQ1 学習済みモデルに基づく非一様ネガティブサンプリングは、極端な分類における確率的勾配の信号対ノイズ比を向上させることができるか？
• RQ2 ソフトマックス近似の文脈において、勾配分散を最小化する最適なネガティブサンプルの分布は何か？
• RQ3 Cに対して部分線形コストで効率的に高品質なネガティブサンプルを生成できる補助モデルはどのように設計できるか？
• RQ4 非一様サンプリングによって生じるバイアスは、再訓練を伴わずに推論時に正確に定量・除去可能か？
• RQ5 敵対的ネガティブサンプリングは、一様または頻度ベースのベースラインと比較して、収束速度と一般化性能の両面で優れているか？

主な発見

• 提案手法の敵対的ネガティブサンプリングは、大規模データセット上での複数の競合ベースラインと比較して、学習時間を1桁短縮する。
• Wikipedia-500KおよびAmazon-670Kの両データセットにおいて、予測対数尤度と精度の観点で著しく速い収束を達成する。
• 一覧の1つのデータセットで若干低い対数尤度を示すものの、トップクラススコアの順序付けが優れているため、予測精度において一様および頻度ベースのネガティブサンプリングを上回る。
• 確率的決定木に基づく補助モデルはO(log C)のサンプリングを可能にし、最小限のハイパーパrameterチューニングで効率的に事前学習できる。
• 理論的分析により、勾配分散が補助モデルがデータ分布を正確に模倣する場合に最小化され、非一様サンプリングによるバイアスは推論時に正確に補正可能であることが証明された。
• 実験結果により、本手法は学習時間を著しく短縮しながらも高いテスト精度を維持しており、実世界の極端な分類タスクにおける実用的スケーラビリティを示している。