[論文レビュー] Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation

Shaoshi Sun, Zhenyuan Zhang+5 more|arXiv (Cornell University)|Dec 23, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

この論文では、上位k個のロジットに対してのみ正規化することでスパarsityを強制する、標準のソフトマックスの簡素化され高速な代替手法であるスパース・ソフトマックスを提案している。高次元分類タスクにおける収束性と性能の向上が顕著に見られ、自然言語処理および画像分類タスクの両方でベースラインモデルを上回っている。

ABSTRACT

The softmax function is widely used in artificial neural networks for the multiclass classification problems, where the softmax transformation enforces the output to be positive and sum to one, and the corresponding loss function allows to use maximum likelihood principle to optimize the model. However, softmax leaves a large margin for loss function to conduct optimizing operation when it comes to high-dimensional classification, which results in low-performance to some extent. In this paper, we provide an empirical study on a simple and concise softmax variant, namely sparse-softmax, to alleviate the problem that occurred in traditional softmax in terms of high-dimensional classification problems. We evaluate our approach in several interdisciplinary tasks, the experimental results show that sparse-softmax is simpler, faster, and produces better results than the baseline models.

研究の動機と目的

• 高次元分類タスク（d ≥ 100カテゴリ）における標準的ソフトマックスの収束遅さを解消すること。
• 出力分布におけるスパarsityを活用した、より単純で効率的なソフトマックスの代替手法を開発すること。
• スパース・ソフトマックスの有効性を、自然言語処理および画像分類を含む多様なタスクで評価すること。
• スパース・ソフトマックスが交差エントロピー損失におけるマージンギャップを低減することで、事前学習モデルにおける過学習を緩和するかどうかを調査すること。

提案手法

• スパース・ソフトマックスは、入力ベクトルzから上位k個のロジットを選択し、それ以外のものをすべて0に設定した後、ソフトマックス正規化を適用する。
• 変換は次式で定義される：p_i = exp(z_i) / sum_{j in Ω_k} exp(z_j) （z_i が上位k個に含まれる場合）、さもなければ0。
• トレーニング中に、最適化効率を向上させるために、上位k個の予測にのみ焦点を当てた修正された交差エントロピー損失関数が使用される。
• 本手法は、系列から系列へのタスク（例：要約生成、質問生成）および画像分類（CIFAR-100）で評価される。
• 実験では、微調整済みおよび事前学習済みモデルの両方で、スパース・ソフトマックスと標準的ソフトマックスを比較する。
• ハイパーパrameter k はスパarsityと性能のバランスをとるために調整され、系列タスクではk=5が顕著な向上をもたらした。

実験結果

リサーチクエスチョン

• RQ1 上位k個の選択によるソフトマックス出力へのスパarsityの強制は、高次元分類タスクにおける収束速度を向上させるか？
• RQ2 スパース・ソフトマックスは、要約生成や質問生成などの自然言語処理の系列から系列タスクにおいて、標準的ソフトマックスと比較して性能に優れているか？
• RQ3 スパース・ソフトマックスは、交差エントロピー損失におけるマージンギャップを最小化することで、事前学習モデルにおける過学習を効果的に軽減できるか？
• RQ4 スパース・ソフトマックスの性能向上は、画像分類を含むさまざまなモデルアーキテクチャおよびデータセットにおいて一貫しているか？
• RQ5 スパース・ソフトマックスの利点は、特に高次元出力空間において、事前学習重みの使用に依存するか？

主な発見

• Gigaword-10kデータセットでは、ビームサイズ1の場合、スパース・ソフトマックスは標準的ソフトマックスに比べてROUGE-1を0.67%、ROUGE-2を0.79%向上させた。
• ビームサイズ5では、スパース・ソフトマックスはROUGE-1を0.28%、ROUGE-2を0.55%高く達成し、デコード品質の向上が一貫して確認された。
• SQuAD 1.1における質問生成タスクでは、スパース・ソフトマックスはそれぞれBLEU-1、BLEU-2、BLEU-3、BLEU-4で0.90%、0.62%、0.80%、0.82%の向上を示した。
• CIFAR-100では、Densenetではスパース・ソフトマックスに向上が見られず（トップ1精度76.2% vs. 73.7%）、非事前学習設定では限定的な利点にとどまった。
• 事前学習モデルであるInceptionV3では、スパース・ソフトマックスによりトップ1精度が77.1%から77.8%に向上し、事前学習フレームワークにおける有効性が確認された。
• 結果から、スパース・ソフトマックスは、高次元出力を持つ事前学習モデルにおける過学習の軽減と最適化の改善に特に効果的であると示唆された。