[論文レビュー] Understanding Instance-Level Label Noise: Disparate Impacts and Treatments

Yang Liu|arXiv (Cornell University)|Feb 10, 2021

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿は、過パラメータ化されたモデルにおけるインスタンスレベルのラベルノイズについて理論的分析を行い、ノイズラベルが周波数が低いインスタンスに特に顕著に悪影響を及ぼすことを明らかにした。また、既存のロバスト学習手法が高頻度と低頻度のインスタンスを不均等に扱い、特に長尾部分のノイズ補正に失敗する傾向にあることも示した。本稿は、ピア損失（peer loss）や損失補正といった手法が一般化性能を向上させる理論的条件を確立し、ノイズラベル学習における実験的観察を理論的に裏付けた。

ABSTRACT

This paper aims to provide understandings for the effect of an over-parameterized model, e.g. a deep neural network, memorizing instance-dependent noisy labels. We first quantify the harms caused by memorizing noisy instances, and show the disparate impacts of noisy labels for sample instances with different representation frequencies. We then analyze how several popular solutions for learning with noisy labels mitigate this harm at the instance level. Our analysis reveals that existing approaches lead to disparate treatments when handling noisy instances. While higher-frequency instances often enjoy a high probability of an improvement by applying these solutions, lower-frequency instances do not. Our analysis reveals new understandings for when these approaches work, and provides theoretical justifications for previously reported empirical observations. This observation requires us to rethink the distribution of label noise across instances and calls for different treatments for instances in different regimes.

研究の動機と目的

• ラベルノイズが、さまざまな表現頻度を持つインスタンスのモデル一般化性能に与える差別の影響を理解すること。
• 既存のロバスト学習手法が、高頻度および低頻度のインスタンスにおけるノイズラベルをどのように処理するか、インスタンスレベルでその性能を分析すること。
• 一般的な手法がノイズラベルを記憶するのを避け、一般化性能を向上させる理論的条件を提示すること。また、それらがいつ失敗するのかも特定すること。
• ピア損失が自信のある予測を誘発し、ノイズ率の知識なしに損失補正を上回るという実験的観察を説明すること。

提案手法

• Feldman (2020) の分析フレームワークを拡張し、ノイズラベルの記憶がインスタンスレベルで与える影響を定量化する。
• 遷移行列とラベル事前分布を用いて、ピア損失（PL）および損失補正における訓練損失の確率的分析を導入する。
• インスタンス頻度 $ l $ を条件として、真のラベルを予測することが、ピア損失においてより低い訓練損失をもたらす確率の上限を導出する。
• カルバック・ライバラー距離と集中不等式を用いて、低頻度インスタンスにおけるピア損失の失敗確率を評価する。
• ピア損失と損失補正の比較を通じて、それらがラベルノイズ補正のために事後分布をどのように暗黙的に利用するかを分析する。
• チェルノフの不等式や尾確率推定を用いた理論的ツールを活用し、異なるインスタンス頻度におけるノイズ補正の信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練データにおけるインスタンスの頻度が、そのノイズラベルがモデル一般化性能に与える影響にどのように影響するか？
• RQ2 既存のロバスト学習手法が、インスタンスレベルでノイズラベルを効果的に補正できる条件は何か？
• RQ3 ピア損失は、ノイズ遷移行列の知識なしになぜ良好に機能するのか？また、どのような状況で失敗するのか？
• RQ4 低頻度インスタンスに対して、ピア損失が誤ったラベルを予測する確率はどの程度か？
• RQ5 一般化誤差に関する理論的境界が、ノイズラベル学習における実験的観察をどのように説明できるか？

主な発見

• 高頻度インスタンスはノイズラベルによる一般化誤差をより大きく被るが、ラベル情報が豊富なため、既存の手法によってより確実に補正される。
• 低頻度インスタンスは全体の一般化誤差に与える寄与は小さいものの、ノイズ補正の失敗に極めて脆弱であり、ピア損失が誤ったラベルを予測する確率は少なくとも $ \frac{1}{\sqrt{2l}}e^{-l\cdot D_{\text{KL}}\left(\frac{1}{2}\|e_{\text{sgn}(y)}\right)} $ 以上である。
• ピア損失は、高頻度インスタンスに対して、確率 $ 1 - e^{-\frac{2l}{p^{2}_{\text{sgn}(-y)}(1 - e_{+} - e_{-})^{2}}} $ 以上で一般化誤差を改善し、十分なデータがある場合には損失補正を上回る性能を示す。
• 理論的分析により、ピア損失が自信のある予測を誘発すること（補題3）が確認され、ノイズ率の知識なしに実験的成功を説明できる。
• 損失補正とピア損失の両者とも、ノイズ補正のために事後分布を暗黙的に利用するが、ピア損失は予測をより強く極端化するため、データが十分にある場合にはより優れた性能を発揮する。
• 本稿は、既存の手法が不均等な扱いをもたらすことを明らかにした。高頻度インスタンスは信頼性高く補正されるが、低頻度インスタンスは誤った補正の重大なリスクを負い、特にピア損失では顕著である。