[論文レビュー] Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning

Azusa Sawada, Eiji Kaneko+1 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Neural Network Applications参考文献 12被引用数 5

ひとこと要約

本論文では、上位k個の予測クラスを1つのクラスにグループ化する修正された交差エントロピー（CE）への段階的移行により、深層学習における上位k個分類精度を向上させるトップk遷移損失を提案する。実験により、CEよりも上位5位および上位k位（k > 10）の精度が向上し、ResNet18を用いたCIFAR-100では25個の候補で99%の精度を達成した（CEは33個必要）。

ABSTRACT

This paper presents an experimental analysis about trade-offs in top-k classification accuracies on losses for deep leaning and proposal of a novel top-k loss. Commonly-used cross entropy (CE) is not guaranteed to optimize top-k prediction without infinite training data and model complexities. The objective is to clarify when CE sacrifices top-k accuracies to optimize top-1 prediction, and to design loss that improve top-k accuracy under such conditions. Our novel loss is basically CE modified by grouping temporal top-k classes as a single class. To obtain a robust decision boundary, we introduce an adaptive transition from normal CE to our loss, and thus call it top-k transition loss. It is demonstrated that CE is not always the best choice to learn top-k prediction in our experiments. First, we explore trade-offs between top-1 and top-k (=2) accuracies on synthetic datasets, and find a failure of CE in optimizing top-k prediction when we have complex data distribution for a given model to represent optimal top-1 prediction. Second, we compare top-k accuracies on CIFAR-100 dataset targeting top-5 prediction in deep learning. While CE performs the best in top-1 accuracy, in top-5 accuracy our loss performs better than CE except using one experimental setup. Moreover, our loss has been found to provide better top-k accuracies compared to CE at k larger than 10. As a result, a ResNet18 model trained with our loss reaches 99 % accuracy with k=25 candidates, which is a smaller candidate number than that of CE by 8.

研究の動機と目的

• 理想的な条件下で上位k位にキャリブレーションされているにもかかわらず、標準的交差エントロピー（CE）が上位k分類精度を最適化できない状況を特定すること。
• データ量が限られ、モデル容量や最適化収束が不十分な実用的深層学習環境における、上位1位と上位k位の精度のトレードオフを解消すること。
• 現実世界の制約下で頑健な意思決定境界を促進することで、上位k予測性能を向上させる新しい損失関数の設計。
• CEが上位k予測において常に最適ではないこと、特にデータ分布が複雑またはモデル容量が限られている場合にその有効性を示すこと。

提案手法

• 上位k個の予測クラスを1つのクラスにグループ化する修正されたCEに段階的に移行するトップk遷移損失を提案する。
• 訓練中に標準CEからトップkグループ化損失へ段階的に移行する適応的移行メカニズムを導入し、最適化の安定性と一般化性能の向上を図る。
• データオーグメンテーション（Mixup, Cutout）を用いた合成データおよび実世界のデータセット（CIFAR-100）に対して、深層ニューラルネットワーク（ResNet18, DenseNet121）に損失を適用する。
• 複数の訓練設定において、提案損失と標準CEおよび他のトップk損失（例：スムーズな上位5位SVM損失）のトップk精度を比較する。
• 複雑なデータ分布とマルチモーダルなクラス構造を有する合成データを用いて、CEがトップk予測で失敗するメカニズムを分析する。
• 上位1位および上位5位の予測においてCIFAR-100を評価し、k値を変化させながら精度を測定し、性能の転換点を同定する。

実験結果

リサーチクエスチョン

• RQ1 標準的交差エントロピーが理論的に上位k位にキャリブレーションされているにもかかわらず、どのようなデータおよびモデル条件下で上位k精度を最適化できないのか？
• RQ2 上位kクラスを1つのクラスにグループ化する修正損失関数が、現実世界の深層学習シナリオにおける上位k予測性能を向上させられるか？
• RQ3 標準CEからトップkグループ化損失への適応的移行が、意思決定境界の頑健性および一般化性能にどのように影響するか？
• RQ4 実用的深層学習環境において、CEと上位k専用損失を用いる際の上位1位と上位k位の精度のトレードオフはどのようなものか？
• RQ5 提案されたトップk遷移損失は、目標精度（例：99%）に到達するための予測候補数をどの程度削減できるか？

主な発見

• 合成データにおいて、クラス分布が複雑（例：マルチモーダル）な場合でさえ、十分なモデル容量があるにもかかわらず、CEは上位k精度を最適化できない。これは非頑健な意思決定境界が原因である。
• CIFAR-100において、提案された上位5位遷移損失は6つの実験設定のうち5つでCEを上回り、Mixupを用いたResNet18では0.9%の向上を達成した。
• k > 10の場合、上位5位遷移損失はCEおよび他のベースラインを常に上回り、25個の予測候補で99%の精度を達成した（CEは8個多く必要）。
• 上位5位グループ化損失はCEよりも性能が劣り、クラス間オーバーラップが小さいデータセットでは意思決定境界の選択が不適切であるためである。
• Cutoutオーグメンテーション下ではスムーズな上位5位SVM損失が遷移損失をわずかに上回るが、ソフトラベル学習（例：Mixup）と互換性がなく、ここでは遷移損失が優れている。
• 上位1位と上位k位の精度のトレードオフは、CIFAR-100のようなクリーンなデータセットでも継続的に見られるため、これは一般化誤差に起因するものであり、モデルのアンダーフィッティングとは無関係である。