[論文レビュー] Learning with Bounded Instance- and Label-dependent Label Noise

Jiacheng Cheng, Tongliang Liu+2 more|arXiv (Cornell University)|Sep 12, 2017

Machine Learning and Data Classification参考文献 63被引用数 28

ひとこと要約

本論文は、インスタンスおよびラベルに依存するラベルノイズ（BILN）を処理するための新しい学習アルゴリズムを提案する。BILNでは、ノイズ率が上界で制限され、インスタンスおよびラベルに応じて変動する。『精錬された例』と呼ばれるデータポイント（ベイズ最適分類器の予測と一致するラベルを持つもの）を導入することで、統計的整合性とロバストネスを達成し、実験的結果では、合成データおよび実世界のデータセットにおいて、さまざまなノイズ条件下でベースラインを上回る性能を示した。

ABSTRACT

Instance- and Label-dependent label Noise (ILN) widely exists in real-world datasets but has been rarely studied. In this paper, we focus on Bounded Instance- and Label-dependent label Noise (BILN), a particular case of ILN where the label noise rates -- the probabilities that the true labels of examples flip into the corrupted ones -- have upper bound less than $1$. Specifically, we introduce the concept of distilled examples, i.e. examples whose labels are identical with the labels assigned for them by the Bayes optimal classifier, and prove that under certain conditions classifiers learnt on distilled examples will converge to the Bayes optimal classifier. Inspired by the idea of learning with distilled examples, we then propose a learning algorithm with theoretical guarantees for its robustness to BILN. At last, empirical evaluations on both synthetic and real-world datasets show effectiveness of our algorithm in learning with BILN.

研究の動機と目的

• Bounded Instance- and Label-dependent Label Noise（BILN）に対する理論的およびアルゴリズム的解決策が不足しているという問題に取り組む。BILNはより現実的ではあるが、未だ十分に調査されていないラベルノイズの形式である。
• BILNに対するロバストネスの理論的保証を確立する。これには、統計的整合性と性能バウンドが含まれる。
• BILN下でベイズ最適分類器に収束する実用的な学習アルゴリズムを構築する。この際、精錬された例を活用する。
• 合成および実世界のデータセット上でアルゴリズムを実験的に評価し、ノイズ率が変化する状況下でも有効性を示す。ノイズの上限に関する事前知識がなくてもよい。

提案手法

• ノイズ率が上界で制限され、インスタンスおよびラベルに依存するラベルノイズ（BILN）の下で、ベイズ最適分類器の予測と一致するラベルを持つデータポイント（『精錬された例』）を導入する。この仮定のもと、これらの例が存在し、識別可能であると仮定する。
• BILN下でベイズ最適分類器に収束するように、精錬された例に基づいて学習するアルゴリズムを提案する。
• ノイズの上限に関する事前知識がなくても、ハイパーパrameter $ k $ を用いてノイズのあるモデルからの上位活性化例を選択することで、精錬された例を同定する手法を採用する。
• 反復的改善と高信頼度予測のアクティブ選択を用いて、ノイズ率を推定するアルゴリズムの変種を適用する。
• 理論的分析を用いて、BILN下での統計的整合性を証明し、一般化誤差バウンドを導出する。
• アンカーポイントと信頼度のしきい値に基づくノイズ率推定戦略を採用し、誤標籤例を特定・フィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 訓練データが Bounded Instance- and Label-dependent Label Noise（BILN）によって汚染されている状況下でも、学習アルゴリズムが統計的整合性を達成できるか？
• RQ2 ノイズ率に関する事前知識がなくても、精錬された例をどのように同定し、BILNに対するロバストネスを向上させるために活用できるか？
• RQ3 提案手法は、インスタンスおよびラベルに依存するノイズのさまざまなレベル下で、既存手法と比較してどの程度の性能を示すか？
• RQ4 ノイズの上限が不明な状況下で、ハイパーパrameter $ k $ の選択にどれほど感度を示すか？
• RQ5 提案手法は、複雑で非一様なノイズパターンを示す実世界のデータセットに対しても一般化可能か？

主な発見

• ノイズ率が (0.49, 0.49) の合成データセットにおいて、提案手法は 99.23% の正確度を達成し、ベースライン手法（ピアロス：89.10%、ノイジィ＋アクティベート：92.36%）を著しく上回った。
• UCI Image データセット（ノイズ率：(0.5, 0.5)）では、提案手法が 74.51% の正確度を達成し、ピアロス（64.61%）およびノイジィ＋アクティベート（69.45%）を上回った。
• USPS（6vs8）データセット（ノイズ率：(0.5, 0.5)）では、提案手法が 83.40% の正確度を達成し、ピアロス（82.52%）およびノイジィ＋アクティベート（77.95%）を上回った。
• \rho_{+1\text{max}} および \rho_{-1\text{max}} の事前知識が不要なバージョン（'Algo. 1 w/o $ \rho_{\pm 1\text{max}} $'）は、ノイズ上限が既知のバージョンと同等またはそれ以上の性能を示した。
• ハイパーパrameter $ k $ に対して、アルゴリズムはロバストであった。図2の性能曲線は、3つのデータセットすべてで、さまざまな $ k $ 値において安定した正確度を示した。