[論文レビュー] Every Untrue Label is Untrue in its Own Way: Controlling Error Type with the Log Bilinear Loss

Yehezkel S. Resheff, Amit Mandelbaum+1 more|arXiv (Cornell University)|Apr 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 7

ひとこと要約

この論文は、真のラベルと予測ラベルの両方に基づいて誤分類を微分的にペナルティ化することで、深層学習における誤りの種別を制御するための二重線形および対数二重線形損失関数を導入する。実験では、CIFAR-100のような階層的データセットにおいて、全体の分類精度を維持したまま誤りのうち正しく分類されたスーパークラス内に閉じ込められる割合を著しく向上させることを示しており、対数二重線形損失を用いることで最大36.58%の誤りが正しいスーパークラス内に局在化された。

ABSTRACT

Deep learning has become the method of choice in many application domains of machine learning in recent years, especially for multi-class classification tasks. The most common loss function used in this context is the cross-entropy loss, which reduces to the log loss in the typical case when there is a single correct response label. While this loss is insensitive to the identity of the assigned class in the case of misclassification, in practice it is often the case that some errors may be more detrimental than others. Here we present the bilinear-loss (and related log-bilinear-loss) which differentially penalizes the different wrong assignments of the model. We thoroughly test this method using standard models and benchmark image datasets. As one application, we show the ability of this method to better contain error within the correct super-class, in the hierarchically labeled CIFAR100 dataset, without affecting the overall performance of the classifier.

研究の動機と目的

• 多クラス分類における標準的な交差エントロピー損失の限界、すなわちラベルの同一性に関係なくすべての誤分類を同等に扱うという点を是正すること。
• 正しいラベルと誤ったラベルの両方に依存して誤りを微分的にペナルティ化する損失関数を構築し、誤りの分布を制御可能にする。
• このような損失関数が、CIFAR-100のような階層的ラベル構造において誤分類誤りを正しいスーパークラスに局在化できるかを評価すること。
• 特にレアクラスや少数サンプルクラスの学習に際して、低データ環境下での損失関数の有効性を評価すること。

提案手法

• 標準的な交差エントロピー損失に追加する形で、真のラベルと予測ラベルの両方に依存する二重線形損失を提案する。
• 二重線形損失を、真のラベルと誤ったラベルの関数として定義し、望ましい誤りの好みをエンコードする学習可能または固定のペナルティ行列を用いる。
• 出力確率に対数変換を施した後、誤差ペナルティを計算する対数二重線形損失のバリエーションを導入する。
• 標準的な交差エントロピー損失と二重線形または対数二重線形誤差ペナルティ成分をバランスさせるためのトレードオフパラメータαを用いる。
• 特定の誤ったラベルからの誤りを重点的にペナルティ化するように設計されたマスクベースのアプローチを採用する。
• MNIST、CIFAR-10、CIFAR-100といった標準ベンチマーク上で、深層ニューラルネットワークのエンドツーエンド学習にこれらの損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 誤りの種別を区別できるように変更された損失関数は、深層ニューラルネットワークにおける誤分類誤りの分布を効果的に制御できるか？
• RQ2 二重線形および対数二重線形損失は、全体の分類精度を維持しつつ、誤りのパターンを特定のターゲットラベルへとシフトさせられる程度はどの程度か？
• RQ3 これらの損失関数は、CIFAR-100のような階層的分類設定において誤りを正しいスーパークラスに局在化できるか？
• RQ4 特に特定のクラスの学習データが著しく制限された状況下で、これらの損失関数はどの程度有効か？
• RQ5 低信頼度の誤分類が生じる状況において、対数二重線形バージョンは二重線形損失を上回る性能を示すか？

主な発見

• CIFAR-100データセットにおいて、二重線形損失はα=0.5で正しく分類されたスーパークラス内に閉じ込められた誤りの割合を34.61%まで向上させた。一方、対数二重線形損失は36.58%に達した。
• 総誤差はわずかに増加したものの、対数二重線形損失は二重線形損失よりもスーパークラス内への誤り局在化能力が顕著に優れていた。
• 少数サンプル実験では、クラスあたり10または50個の学習例しか利用できない状況下でも、二重線形損失はα=0.5で少数サンプルクラスのスーパークラス精度を49.42%のベースラインから50.14%まで向上させた。
• 学習中に特定クラスの例が一切存在しなかった場合（N=0）でも、テスト例の49.42%が依然として正しいスーパークラスに割り当てられ、強力なスーパークラス構造の学習が行われたことが示された。
• 階層的CIFAR-100設定において、二重線形損失は対数二重線形損失を上回った可能性が高く、後者の方が低信頼度予測に対して感受性が高いためである。
• 提案された損失関数は、誤り分布の細かな制御を可能にしつつ、全体のモデル精度を維持またはわずかに向上させた。