[論文レビュー] Unbiased scalable softmax optimization

Francois Fagan, Garud Iyengar|arXiv (Cornell University)|Mar 22, 2018

Parallel Computing and Optimization Techniques参考文献 17被引用数 8

ひとこと要約

本稿では、数百万クラスの大きなスケールなソフトマックスモデルを最適化するための、バイアスなしでスケーラブルな確率的勾配降下法アルゴリズム2つ——Implicit SGD および U-max——を提案する。尤度を二重和に再定式化し、分散が有界な効率的な勾配更新を用いることで、1反復あたりの計算量が O(D) に抑えられ、7つの実世界のデータセットにおいて、バイアスのあるベースラインと比較して最大4.44倍の対数尤度の低減を達成した。

ABSTRACT

Recent neural network and language models rely on softmax distributions with an extremely large number of categories. Since calculating the softmax normalizing constant in this context is prohibitively expensive, there is a growing literature of efficiently computable but biased estimates of the softmax. In this paper we propose the first unbiased algorithms for maximizing the softmax likelihood whose work per iteration is independent of the number of classes and datapoints (and no extra work is required at the end of each epoch). We show that our proposed unbiased methods comprehensively outperform the state-of-the-art on seven real world datasets.

研究の動機と目的

• 数百万クラスを有する大規模モデルにおけるソフトマックス正規化定数の計算が計算的に非現実的であるという問題に対処する。
• 最適解への収束を損なう、既存の近似手法のバイアスおよび不安定性を克服する。
• 1反復あたりの計算コストがクラス数やデータポイント数に依存しない、スケーラブルでバイアスのない最適化アルゴリズムを開発する。
• 各エポックで高価なフルバッチ正規化計算を必要とせずに、安定的かつ収束する学習を保証する。

提案手法

• データポイントとクラスの両方のミニバッチサンプリングを可能にするために、リッジ正則化付きソフトマックス尤度をデータポイントおよびクラスの二重和に再定式化する。
• ステップサイズの計算を効率的かつ安定的に行うために、バイセクション法を用いたImplicit SGDを提案し、線形に有界なステップサイズを実現する。
• 勾配が有界で、十分に小さな学習率に対して収束を保証する、新しいSGDの変種U-maxを導入する。
• 数値的安定性を保証するため、タイトな初期境界値と凸最適化技術を用いて勾配更新を実施する。
• 二重和構造を活用して、1反復あたりの計算コストをKおよびNに依存しないO(D)に削減する。
• 学習率およびパrameterの境界に関する弱い仮定の下で、両アルゴリズムの収束性および安定性の保証を証明する。

実験結果

リサーチクエスチョン

• RQ1 完全な正規化和の計算コストが高いため、大規模なソフトマックスモデルに対してバイアスのない最適化手法を設計することは可能か？
• RQ2 Kが非常に大きい設定において、勾配の分散が大きく、動的範囲が広がる状況で、確率的勾配更新をどのように安定化できるか？
• RQ3 O(D) の1反復あたりの計算コストを維持しつつ、真の最尤推定値への収束を達成することは可能か？
• RQ4 提案された二重和定式化は、定期的なフルバッチ正規化を実施せずに、安定的かつ効率的な学習を可能にするか？
• RQ5 実際の応用において、速いが正確性に欠けるバイアスのあるベースラインと比較して、提案手法はどのように性能を発揮するか？

主な発見

• Implicit SGDは、7つの実世界のデータセット全体で、前人最高のバイアスあり手法と比較して平均して4.44倍低い対数尤度を達成した。
• U-maxおよびImplicit SGDの両方の手法が、OVE、NCE、IS、およびヴァナイルSGDを含むすべてのベースライン手法を、対数尤度および収束速度の面で上回った。
• 提案手法は、クラス数Kおよびデータポイント数Nに依存しないO(D)の1反復あたりの計算コストを維持しており、大規模問題へのスケーラビリティを実現した。
• Implicit SGDは、OVE/NCE/IS/Vanilla/U-maxよりも1反復あたりの実行時間が速く、データセット全体で平均して1.60倍の実行時間比を示した。
• U-maxは、十分に小さな学習率に対して勾配が有界で、収束が保証される安定した学習を示したが、ヴァナイルSGDとは異なり、このような保証がなかった。
• 二重和構造のおかげで、1反復あたりのデータポイントおよびクラスの効率的なサンプリングが可能になり、計算のオーバーヘッドを低減しながらも、バイアスのない推定を維持した。