[論文レビュー] Robust Bi-Tempered Logistic Loss Based on Bregman Divergences

Ehsan Amid, Manfred K. Warmuth+2 more|arXiv (Cornell University)|Jun 8, 2019

Statistical Mechanics and Entropy参考文献 18被引用数 28

ひとこと要約

本論文は、Bregman散発に基づくロバストなバイ・トゥームドロジスティック損失を提案する。この損失は、標準的なソフトマックスとロジスティック損失の代わりに、2つの温度パラメータを用いたトゥームド（温度調整）版を用いる。下位の温度はロジスティック損失に適用され、外れ値に対して有界性を保証する。上位の温度は指数関数に適用され、誤りラベルの例をよりよく扱えるように重たい尾を持つクラス確率を生成する。この手法は、複数のベンチマークでラベルノイズに対して優れたロバスト性を示し、ノイズのない設定でも標準的なロジスティック損失を上回る性能を発揮する。

ABSTRACT

We introduce a temperature into the exponential function and replace the softmax output layer of neural nets by a high temperature generalization. Similarly, the logarithm in the log loss we use for training is replaced by a low temperature logarithm. By tuning the two temperatures we create loss functions that are non-convex already in the single layer case. When replacing the last layer of the neural nets by our bi-temperature generalization of logistic loss, the training becomes more robust to noise. We visualize the effect of tuning the two temperatures in a simple setting and show the efficacy of our method on large data sets. Our methodology is based on Bregman divergences and is superior to a related two-temperature method using the Tsallis divergence.

研究の動機と目的

• ディープラーニングにおける標準的なロジスティック損失のラベルノイズおよびマージンの大きな外れ値に対する感受性を軽減すること。
• 標準的なクロスエントロピー学習における凸性と軽い尾を持つソフトマックス確率の制限を克服すること。
• ノイズのある学習データ下でも適切さ（properness）と一般化性能を維持できる非凸的でロバストな損失関数を開発すること。
• トゥームド対数関数と指数関数に異なる2つの温度を設定することで、モデルのロバスト性と精度が向上することを実証すること。
• Tsallis散発に基づく既存の二温度手法よりも理論的根拠が明確で、優れた性能を示す適切な損失関数を提供すること。

提案手法

• 下限が存在し外れ値に対してロバストな、$ t_1 \in [0,1) $ に対するトゥームド対数関数 $\log_{t_1}(x) = \frac{1}{1-t_1}(x^{1-t_1} - 1)$ を導入する。
• 重たい尾を持つクラス確率を生成するため、$ t_2 > 1 $ に対してトゥームド指数関数 $\exp_{t_2}(x) = \left[1 + (1-t_2)x\right]_+^{1/(1-t_2)}$ を定義する。
• 真のラベルとトゥームドソフトマックス出力の間のBregman散発に基づくバイ・トゥームド損失を構築し、対数部と指数部にそれぞれ異なる温度 $ t_1 $ と $ t_2 $ を使用する。
• Bregman散発を用いることで、最適な予測が真のラベルと一致する（適切さが保たれる）ように保証する。これは、以前のTsallisに基づく手法とは異なり、適切さを欠いている点を改善する。
• 2段階の訓練戦略を採用する：まず、$ t_1 \in [0.5,1) $ と $ t_2 \in (1.0,4.0] $ のグリッド上で最適な温度ペアを探索し、次に、最良のペアを用いて標準的なデータセットで訓練を行う。
• SGDにモーメンタムや学習率スケジューリングを用いる標準的なディープラーニングパイプラインを採用するが、最終層の損失関数をバイ・トゥームド版に置き換える。

実験結果

リサーチクエスチョン

• RQ1 トゥームド対数関数と指数関数に基づく非凸的損失関数は、ディープニューラルネットワークにおけるラベルノイズに対してロバスト性を向上させることができるか？
• RQ2 トゥームド指数関数に高い温度を導入することで（重たい尾を持つ確率を生成）、決定境界付近の誤りラベル例に対する過学習を軽減できるか？
• RQ3 トゥームド対数関数に低い温度を設定することで（有界な損失を実現）、学習中にマージンの大きな外れ値の影響を低減できるか？
• RQ4 Bregman散発に基づくバイ・トゥームド損失は、Tsallis散発に基づく既存の二温度手法（例：Tsallis損失）と比較して、適切さと性能の両面で優れているか？
• RQ5 バイ・トゥームド損失は、ラベルノイズが存在しない状況でも、クリーンなテストセットにおける一般化性能を向上させるか？

主な発見

• MNISTで50％のラベルノイズを想定した場合、バイ・トゥームド損失（0.5,4.0）はトップ1正解率97.69％を達成し、同じ条件下でロジスティック損失（96.13％）を上回った。
• CIFAR-100で50％のラベルノイズを想定した場合、バイ・トゥームド損失（0.8,1.2）はトップ1正解率57.80％を達成し、ロジスティック損失の52.96％を上回った。
• ImageNet-2012では、バイ・トゥームド損失がResNet-18でトップ1正解率を0.285％（71.618％ vs. 71.333％）向上、ResNet-50では0.416％（76.748％ vs. 76.332％）向上させた。
• バイ・トゥームド損失は、ラベルノイズへの過学習を遅らせ、かつ大幅に低いテスト正解率の分散を示し、ロジスティック損失よりも優れた安定性を示した。
• ノイズのない設定（例：CIFAR-100）でも、バイ・トゥームド損失はロジスティック損失（74.03％）を上回るテスト正解率75.30％を達成した。これは、ノイズ耐性以上の一般化性能の向上を示している。
• 最適な温度ペアが選ばれた場合、複数のデータセットとアーキテクチャにおいて、ハイパーパramータの選択に対して頑健であり、一貫した性能向上が得られた。