[論文レビュー] On the Consistency of Top-k Surrogate Losses

Forest Yang, Sanmi Koyejo|arXiv (Cornell University)|Jan 30, 2019

Machine Learning and Data Classification参考文献 26被引用数 5

ひとこと要約

本稿は、上位k分類の一致性を理論的に確立するため、上位kキャリブレーションを上位k一貫性の必要十分条件として導入する。上位kキャリブレーションに基づくBregman発散に基づく新たな損失関数の族を提案し、標準的なハーフィング型損失（凸型を含む）の不一貫性を証明するとともに、特に線形モデルにおいて交差エントロピーが失敗する状況で有効である、新しい非凸型ハーフィング損失を導入する。

ABSTRACT

The top-$k$ error is often employed to evaluate performance for challenging classification tasks in computer vision as it is designed to compensate for ambiguity in ground truth labels. This practical success motivates our theoretical analysis of consistent top-$k$ classification. Surprisingly, it is not rigorously understood when taking the $k$-argmax of a vector is guaranteed to return the $k$-argmax of another vector, though doing so is crucial to describe Bayes optimality; we do both tasks. Then, we define top-$k$ calibration and show it is necessary and sufficient for consistency. Based on the top-$k$ calibration analysis, we propose a class of top-$k$ calibrated Bregman divergence surrogates. Our analysis continues by showing previously proposed hinge-like top-$k$ surrogate losses are not top-$k$ calibrated and suggests no convex hinge loss is top-$k$ calibrated. On the other hand, we propose a new hinge loss which is consistent. We explore further, showing our hinge loss remains consistent under a restriction to linear functions, while cross entropy does not. Finally, we exhibit a differentiable, convex loss function which is top-$k$ calibrated for specific $k$.

研究の動機と目的

• 上位k分類のための代替損失が真の上位k誤差指標と一貫する条件を形式化すること。
• 上位k保存性と上位kキャリブレーションが、上位k分類におけるベイズ最適性を達成するために果たす根本的役割を特定すること。
• 広く用いられているハーフィング型上位k代替損失の理論的不一貫性を解消すること。
• 特定のk値に対して、上位kキャリブレーションされ、微分可能かつ凸である新たな損失クラスを開発すること。
• 特に線形予測子において標準的な損失（例：交差エントロピー）が失敗する可能性がある制限付き関数クラスにおける一貫性を分析すること。

提案手法

• 上位k一貫性のための必要十分条件としての上位kキャリブレーションの概念を導入し、スコアラーの上位k保存性と関連付ける。
• キャリブレーション条件に基づいて、上位kキャリブレーションされたBregman発散代替損失の族を定義し、一貫性を保証する。
• 既存のハーフィング型上位k損失の不一貫性を分析し、凸であっても上位kキャリブレーションを満たさないことを示す。
• 上位kキャリブレーションを満たし、したがって上位k一貫性を達成する新しい非凸型ハーフィング損失を提案し、特に線形モデルにおいて有効である。
• 反例を用いて、凸で微分可能な上位kキャリブレーション損失がk' > kに対してはキャリブレーションされないことがあることを示す。
• 合成実験を用いて理論的主張を検証し、異なるデータ分布とk値における損失間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 上位k分類の代替損失が真の上位k誤差と一貫するのはどのような条件下か？
• RQ2 なぜ標準的な凸型ハーフィング型上位k代替損失は、その人気にもかかわらず一貫性を示さないのか？
• RQ3 k' ≤ k に対してすべてのk'について凸で微分可能な損失が上位kキャリブレーション可能であるか？また、k' > k の場合の制限は何か？
• RQ4 上位k分類のための一貫性を持つハーフィング損失を設計することは可能か？また、既存の凸型バージョンとはどのように異なるか？
• RQ5 モデルが線形関数に制限された場合、上位k一貫性はどのように振る舞い、交差エントロピーと比較してどうなるか？

主な発見

• 提案されたBregman発散に基づく代替損失は上位kキャリブレーションされており、したがって上位k一貫性を示す。これは、従来手法に対する理論的に妥当な代替手段を提供する。
• 標準的なハーフィング型上位k代替損失は上位kキャリブレーションされておらず、いかなる凸型ハーフィング損失も上位kキャリブレーションを達成できない。これは、凸性が上位k一貫性と両立しない可能性を示唆する。
• 上位k一貫性を満たす新しい非凸型ハーフィング損失が構築され、特に交差エントロピーが一貫性を示さない線形モデルにおいて顕著に有効である。
• 交差エントロピーは制限なしの設定では上位k一貫性を示すが、線形モデルの制限下ではそうではない。これは実用的展開における重要な制限を示している。
• 特定のk値に対して、凸で微分可能な上位kキャリブレーション損失は存在するが、このような損失がk' > kに対しては必ずしもキャリブレーションされないことが、反例によって示された。
• 合成実験により、特にψ₄およびψ₅が、分離された分布および曖昧な分布の両方において、標準的な交差エントロピーおよび他の代替損失よりも上位5誤差率で優れた性能を示すことが確認された。