[論文レビュー] An Exploration of Softmax Alternatives Belonging to the Spherical Loss Family

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|Nov 16, 2015

Stock Market Forecasting Methods参考文献 14被引用数 52

ひとこと要約

本稿では、球面損失族に属するソフトマックスの代替手法——特にログ球面ソフトマックスと新規のログテイラー・ソフトマックス——を調査し、MNIST や CIFAR10 といった低次元分類タスクでは標準のログソフトマックスを上回ることを示している。一方、One Billion Word のような高次元言語モデリングベンチマークでは性能が劣る。この手法により、球面族の性質を活用して $O(d^2)$ の効率的な重み更新が可能となり、出力次元が小さい設定では標準ソフトマックスに代わるスケーラブルな代替手段を提供する。

ABSTRACT

In a multi-class classification problem, it is standard to model the output of a neural network as a categorical distribution conditioned on the inputs. The output must therefore be positive and sum to one, which is traditionally enforced by a softmax. This probabilistic mapping allows to use the maximum likelihood principle, which leads to the well-known log-softmax loss. However the choice of the softmax function seems somehow arbitrary as there are many other possible normalizing functions. It is thus unclear why the log-softmax loss would perform better than other loss alternatives. In particular Vincent et al. (2015) recently introduced a class of loss functions, called the spherical family, for which there exists an efficient algorithm to compute the updates of the output weights irrespective of the output size. In this paper, we explore several loss functions from this family as possible alternatives to the traditional log-softmax. In particular, we focus our investigation on spherical bounds of the log-softmax loss and on two spherical log-likelihood losses, namely the log-Spherical Softmax suggested by Vincent et al. (2015) and the log-Taylor Softmax that we introduce. Although these alternatives do not yield as good results as the log-softmax loss on two language modeling tasks, they surprisingly outperform it in our experiments on MNIST and CIFAR-10, suggesting that they might be relevant in a broad range of applications.

研究の動機と目的

• ソフトマックスの代替手法が、多クラス分類において標準のログソフトマックスを上回るかを評価すること。
• ログ球面ソフトマックスと新しく提案されたログテイラー・ソフトマックスを含む球面損失の実験的性能を、多様なデータセットで調査すること。
• なぜログソフトマックスが言語モデリングのような高次元設定で優れているのか、一方で球面損失が低次元タスクで優れているのかを理解すること。
• 異なる損失関数における、訓練効率、モデル容量、一般化性能のトレードオフを分析すること。

提案手法

• 球面損失族は、ターゲットクラスの活性化 $o_c$、合計 $s = \sum o_i$、二乗ノルム $q = \|\mathbf{o}\|^2$ のみを用いて定義され、$O(dD)$ ではなく $O(d^2)$ の重み更新が可能となる。
• 凸解析を用いてログソフトマックス損失の球面上界を導出し、最小値を同じにする代替のサーヴェイランス損失を提供する。
• ログテイラー・ソフトマックスは、ログ・サム・エプス（log-sum-exp）関数のテイラー展開に基づく球面損失として導入され、温度ハイパーパrameter $\epsilon$ が不要となる。
• ログ球面ソフトマックスは先行研究から採用され、$q$ と $o_c$ に依存する球面正規化を用いる。
• 実験では、固定アーキテクチャを用いて MNIST、CIFAR10/100、および言語モデリングタスクでこれらの損失関数を比較し、損失関数の影響を隔離する。
• モデルの深さや非線形性（例：ReLU、指数関数、バッチ正則化）を変化させ、それらが球面損失の性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 球面損失に基づくログソフトマックスの代替手法は、低次元分類タスクにおいて、標準のログソフトマックスよりも優れた一般化性能を達成できるか？
• RQ2 高次元言語モデリングタスクにおいて、球面損失が効率的であるにもかかわらず、なぜログソフトマックスが優れているのか？
• RQ3 球面ソフトマックスと提案されたログテイラー・ソフトマックスのハイパーパrameter設定と数値安定性は、どのように比較できるか？
• RQ4 より深いネットワークや強力な非線形性（例：ReLU の代替としての指数関数）といったアーキテクチャの変更が、球面損失の性能向上に寄与するか？
• RQ5 出力空間が大きい場合に、ソフトマックスにおける指数関数的非線形性が、特徴の識別的競合に果たす役割は何か？

主な発見

• MNIST および CIFAR10 において、ログテイラー・ソフトマックスとログ球面ソフトマックスは、固定アーキテクチャのもとでログソフトマックスを上回り、より低いテスト誤差と高い正答率を達成した。
• One Billion Word データセットでは、ログソフトマックスは2層の隠れ層でパープレキシティ19.2を達成したが、ログ球面ソフトマックスは28.4、ログテイラー・ソフトマックスは28.9にとどまり、顕著な性能差が確認された。
• ログソフトマックスの SimLex-999 スコアは深さが増すにつれて向上（2層で0.318）するが、球面損失では僅かな上昇（0.262～0.265）にとどまり、意味的類似性のモデリング能力に限界があることが示唆された。
• ログテイラー・ソフトマックスは、温度ハイパーパrameter $\epsilon$ が不要で、わずかな非対称性を示すため、精度と安定性の両面でログ球面ソフトマックスを上回った。
• より深いネットワーク、ReLU の指数関数的代替、バッチ正則化といったアーキテクチャの強化にもかかわらず、球面損失は高次元タスクでログソフトマックスを上回ることはできなかった。
• 低次元では球面損失がログソフトマックスを上回るが、高次元では逆に劣るという性能の質的転換は、依然として説明がつかない。これは、帰納的バイアスに根本的な違いがある可能性を示唆している。