[論文レビュー] Smooth Loss Functions for Deep Top-k Classification

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Feb 21, 2018

Adversarial Robustness in Machine Learning参考文献 12被引用数 53

ひとこと要約

本論文は、深層ネットワークの滑らかな top-k 損失関数のファミリーを導入し、クロスエントロピーを一般化し、分割統治法と基本対称多項式を用いて O(kn) の計算アルゴリズムを提供する。彼らは、ラベルノイズとデータ不足に対してクロスエントロピーと比較して頑健性を示す。

ABSTRACT

The top-k error is a common measure of performance in machine learning and computer vision. In practice, top-k classification is typically performed with deep neural networks trained with the cross-entropy loss. Theoretical results indeed suggest that cross-entropy is an optimal learning objective for such a task in the limit of infinite data. In the context of limited and noisy data however, the use of a loss function that is specifically designed for top-k classification can bring significant improvements. Our empirical evidence suggests that the loss function must be smooth and have non-sparse gradients in order to work well with deep neural networks. Consequently, we introduce a family of smoothed loss functions that are suited to top-k optimization via deep learning. The widely used cross-entropy is a special case of our family. Evaluating our smooth loss functions is computationally challenging: a naïve algorithm would require $\mathcal{O}(\binom{n}{k})$ operations, where n is the number of classes. Thanks to a connection to polynomial algebra and a divide-and-conquer approach, we provide an algorithm with a time complexity of $\mathcal{O}(k n)$. Furthermore, we present a novel approximation to obtain fast and stable algorithms on GPUs with single floating point precision. We compare the performance of the cross-entropy loss and our margin-based losses in various regimes of noise and data size, for the predominant use case of k=5. Our investigation reveals that our loss is more robust to noise and overfitting than cross-entropy.

研究の動機と目的

• ラベルノイズやデータ不足がクロスエントロピーの性能を損なうときに、トップ-k 特化の損失が必要である理由を動機づける。
• クロスエントロピーをトップ-k分類へ一般化する滑らかな代替損失 L_{k,τ} を提案する。
• 損失とその勾配を計算する、効率的で数値的に安定な GPU 加速アルゴリズムを開発する。
• さまざまなノイズレベルとデータセットサイズの下で、滑らかなトップ-k 損失をクロスエントロピーと比較して経験的に評価する。

提案手法

• ground-truth のスコアを k 番目に大きいスコアと比較するトップ-k の代替損失 l_k(s,y) を定義する。
• 温度 τ を用いて滑らかな勾配を可能にする滑らかな版 L_{k,τ}(s,y) を導入する。
• 構造を活用し時間計算を O(kn) にするため、 elementary symmetric polynomials を用いて L_{k,τ} を再表現する。
• σ_k(e) を効率的に計算するため、分割統治型の多項式乗算に基づくフォワードアルゴリズムを開発する。
• 前向きの結果を再利用して大きなメモリオーバーヘッドを避ける、メモリ効率の良いバックワードパスを導出する。
• L_{k,τ} をクロスエントロピーと関連づけ、特定の条件下でトップ-k 損失を上界することを議論する。

実験結果

リサーチクエスチョン

• RQ1 滑らかにしたトップ-k の代替損失は、標準のクロスエントロピーと比較して深層ネットの訓練の安定性と性能を向上させるのか？
• RQ2 大規模なクラス数 n と小さな k に対して、滑らかなトップ-k 損失を効率的に計算できるのか？
• RQ3 ラベルノイズやデータ不足の状況で、滑らかなトップ-k 損失はクロスエントロピーと比較してどのように性能が変化するのか？
• RQ4 L_{k,τ} とクロスエントロピーの関係はどうなり、τ は勾配のまばらさと学習ダイナミクスにどう影響するのか？

主な発見

• L_{k,τ} は τ>0 のとき無限に微分可能で、勾配は非スパースである。
• τ→0+ のときには L_{k,τ} は非滑らかな l_k に収束し、特定の条件下でトップ-k 損失を上界する。
• k=5 のとき ImageNet および CIFAR-100 でノイズやデータ不足がある場合、L_{k,τ} はクロスエントロピーよりラベルノイズおよび過学習に対して頑健である。
• 適切な τ を用いた平滑化は、ノイズやデータ不足の領域で最適化のダイナミクスと訓練性能を向上させる。
• 効率的な O(kn) のフォワードアルゴリズムと、GPU での実用的な訓練を可能にするメモリ効率の良いバックパス。
• k=1 かつ特定のスケーリング限界のとき、クロスエントロピーは L_{k,τ} の特別な場合として回収される。