[論文レビュー] Peer Loss Functions: Learning from Noisy Labels without Knowing Noise Rates

Yang Liu, Hongyi Guo|arXiv (Cornell University)|Oct 8, 2019

Machine Learning and Data Classification参考文献 49被引用数 61

ひとこと要約

事前のノイズ率の知識や推定を要せずに、ERM内でノイズのあるラベルから学習を可能にするペア損失関数を導入し、広範な実験を通じて不変リスク特性を証明する。

ABSTRACT

Learning with noisy labels is a common challenge in supervised learning. Existing approaches often require practitioners to specify noise rates, i.e., a set of parameters controlling the severity of label noises in the problem, and the specifications are either assumed to be given or estimated using additional steps. In this work, we introduce a new family of loss functions that we name as peer loss functions, which enables learning from noisy labels and does not require a priori specification of the noise rates. Peer loss functions work within the standard empirical risk minimization (ERM) framework. We show that, under mild conditions, performing ERM with peer loss functions on the noisy dataset leads to the optimal or a near-optimal classifier as if performing ERM over the clean training data, which we do not have access to. We pair our results with an extensive set of experiments. Peer loss provides a way to simplify model development when facing potentially noisy training labels, and can be promoted as a robust candidate loss function in such situations.

研究の動機と目的

• 事前のノイズ率知識なしにノイズラベルからの学習を動機付ける。
• 標準的なERMと統合して非対称ラベルノイズに対処するPeer Loss Functionsを提案する。
• Peer Lossを用いたERMがクリーンデータ上でほぼ最適な分類器を回復することを示す理論的保証を提供する。
• 初期の多クラス拡張を含む経験的有効性と一般化を実証する。

提案手法

• Peer lossを、ノイズラベルを参照として用いた correlated-agreement (CA) peer-prediction スコアの負として定義する。
• Peer lossが期待値においてラベルノイズに対して不変であることを示す（補題と定理）。
• 最適性保証を導出: 等しい事前分布(p=0.5)はクリーンデータと同じ最小化点をもたらす; 不等な事前分布は近似的な保証を提供。
• 不等な事前分布に対処するためのアルファ加重Peer Lossを導入し、キャリブレーションと一般化の結果を提供する。
• Peer lossが分類キャリブレーションされる条件を提供し、凸性に関する考慮事項を議論する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ率を知らずに、Peer Lossを用いたERMはBayes最適分類器を回復できるか？
• RQ2 等しいクラス事前分布と不等なクラス事前分布および非対称ラベルノイズの下で、Peer Lossの性能はどうなるか？
• RQ3 二値および多クラス設定のいずれにおいても、Peer Lossのキャリブレーションと一般化特性はどうなるか？

主な発見

• Peer lossはラベルノイズの下で不変の期待リスクを生じさせ、ERMがクリーンデータの目的を対象とすることを可能にする（補題2）。
• 等しいクラス事前分布(p=0.5)の場合、peer lossを最小化することはクリーンな0-1リスクを最小化するのと同じ最小化点を達成する（定理2）。
• 不等な事前分布では、priorがバランスに近づくにつれ狭まる近似最適性境界をpeer lossが提供する（定理3）。
• アルファ加重バリアント(alpha-peer)はより一般的な条件下で最適性を回復し、キャリブレーション保証を提供する（定理4）。
• 本手法には収束と有限サンプル界を示すキャリブレーションと一般化解析を含む（定理5–7）。
• 実験は実用的な有効性とロバスト性を示し、多クラス設定への拡張も含む。