[論文レビュー] Learning with Average Top-k Loss

Yanbo Fan, Siwei Lyu+2 more|arXiv (Cornell University)|May 24, 2017

Machine Learning and Algorithms参考文献 4被引用数 28

ひとこと要約

本稿では、教師あり学習における個々の損失の上位k個の平均をとる平均top-k（ATk）損失という、新しい集約損失関数を提案する。これは平均損失と最大損失の両方を一般化し、外れ値に対してより高いロバスト性を示し、不均衡またはマルチモーダルなデータ分布への適応性も向上させる。同時に、最適化のための効率性を保つために凸性を維持しており、多様なデータセットにおける二値分類および回帰タスクにおいて、実験的に優れた性能を示している。

ABSTRACT

In this work, we introduce the {\em average top-$k$} (\atk) loss as a new aggregate loss for supervised learning, which is the average over the $k$ largest individual losses over a training dataset. We show that the \atk loss is a natural generalization of the two widely used aggregate losses, namely the average loss and the maximum loss, but can combine their advantages and mitigate their drawbacks to better adapt to different data distributions. Furthermore, it remains a convex function over all individual losses, which can lead to convex optimization problems that can be solved effectively with conventional gradient-based methods. We provide an intuitive interpretation of the \atk loss based on its equivalent effect on the continuous individual loss functions, suggesting that it can reduce the penalty on correctly classified data. We further give a learning theory analysis of \matk learning on the classification calibration of the \atk loss and the error bounds of \atk-SVM. We demonstrate the applicability of minimum average top-$k$ learning for binary classification and regression using synthetic and real datasets.

研究の動機と目的

• 不均衡またはマルチモーダルなデータ分布の取り扱いにおいて、外れ値に敏感な標準的な集約損失（平均損失）と、まれな高損失サンプルに敏感な最大損失の限界を解消すること。
• 平均損失と最大損失の利点を統合しながらも、最適化のための効率性を保つために凸性を維持する新しい集約損失関数を提案すること。
• ATk-SVMに対するマージンに基づく一般化理論を用いて、ATk損失の分類キャリブレーションおよび誤差バウンド解析を通じて理論的裏付けを提供すること。
• 実データおよび合成データを用いた二値分類および回帰タスクにおいて、最小ATk学習の有効性を実証的に検証すること。

提案手法

• 訓練セット上の個々の損失の上位k個の平均として定義される平均top-k（ATk）損失を提案する。$\mathcal{L}_{\text{avt-}k}(L_{\bf z}(f)) = \frac{1}{k}\sum_{i=1}^{k}\ell_{[i]}(f)$。
• ATk損失がすべての個々の損失に関して凸であることを示し、標準的な勾配ベースの最適化手法による効率的最適化を可能にすること。
• ATk損失を、最も困難なk個のサンプルに注目することで、正しく分類されたサンプルに対するペナルティを軽減する直感的な解釈を提供すること。
• ATk損失の分類キャリブレーションを分析し、マージンに基づく一般化理論を用いてATk-SVMの誤差バウンドを導出すること。
• 線形モデルにATk損失を適用し、二値分類および回帰に使用する。個々の損失関数としてロジスティック損失、ハッジ損失、二乗損失、絶対損失を用いる。
• 各データセットに対して交差検証を用いて最適なkを決定し、分類ではG-mean、回帰ではMAEを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 平均top-k損失は、外れ値に対するロバスト性と不均衡またはマルチモーダルなデータ分布への適応性の両立を、効果的に果たすことができるか？
• RQ2 ATk損失は凸性を維持しており、標準的な勾配法による効率的最適化が可能か？
• RQ3 多様なデータ分布において、ATk学習は平均損失および最大損失と比較して、一般化性能に優れているか？
• RQ4 ATk損失と分類キャリブレーションの理論的関係は何か？また、ATk-SVMに対して誤差バウンドを導出できるか？
• RQ5 最適なk値は異なるデータセットおよび損失関数間で安定的か？また、固定された集約損失よりも性能を向上させるか？

主な発見

• ATk損失は8つの二値分類データセットのうち6つで最高のG-meanを達成し、Monk、Australian、Titanicデータセットでは平均損失および最大損失と比較して統計的に有意な改善を示した。
• Spambaseデータセットでは、ATk損失にロジスティック損失を適用した場合、G-meanが90.63%に達し、平均損失の最良結果と同等の性能を示したが、分散が低く抑えられ、最大損失を1.16ポイント上回った。
• 回帰タスクでは、SincデータセットにおいてATk損失がMAEを0.0806にまで低下（平均損失は0.0816）、Cpusmallでは0.0627（平均損失は0.0634）と、すべての手法の中で最小の誤差を記録した。
• 最適なk値はデータセットごとに変動し、Sincではk=10、Abaloneではk=5が選択された。これは、データの複雑さおよびノイズレベルへの適応性を示している。
• ハッジ損失を用いたATk学習では、Phonemeデータセットで70.41%のG-meanを達成し、平均損失の最良結果と同等の性能を示したが、分散が低く抑えられ、最大損失（12.89% G-mean）を著しく上回った。
• 理論的分析により、ATk損失が分類キャリブレーションを満たし、ATk-SVMに対して非自明な誤差バウンドを提供することが確認された。これにより、一般化能力の裏付けが得られた。