[論文レビュー] Multi-Class Classification from Noisy-Similarity-Labeled Data

Songhua Wu, Xiaobo Xia+6 more|arXiv (Cornell University)|Feb 16, 2020

Machine Learning and Data Classification参考文献 39被引用数 5

ひとこと要約

本論文は、ノイズの多い類似度ラベルのみを用いた多クラス分類のためのディープラーニング手法を提案する。ノイズラベルの性質を推定可能な遷移行列を用いてモデル化することで、ノイズに強く頑健な分類器を実現する。本手法はベンチマークデータセットにおいて最先端の性能を達成し、極めて不均衡な類似度データでは、先行手法を最大23%の差で上回った。

ABSTRACT

A similarity label indicates whether two instances belong to the same class while a class label shows the class of the instance. Without class labels, a multi-class classifier could be learned from similarity-labeled pairwise data by meta classification learning. However, since the similarity label is less informative than the class label, it is more likely to be noisy. Deep neural networks can easily remember noisy data, leading to overfitting in classification. In this paper, we propose a method for learning from only noisy-similarity-labeled data. Specifically, to model the noise, we employ a noise transition matrix to bridge the class-posterior probability between clean and noisy data. We further estimate the transition matrix from only noisy data and build a novel learning system to learn a classifier which can assign noise-free class labels for instances. Moreover, we theoretically justify how our proposed method generalizes for learning classifiers. Experimental results demonstrate the superiority of the proposed method over the state-of-the-art method on benchmark-simulated and real-world noisy-label datasets.

研究の動機と目的

• 類似度ラベルにノイズが含まれる状況下で、多クラス分類器を頑健に学習する課題に対処すること。
• クリーンラベルとノイズラベルの間の潜在的なノイズ遷移行列を導入することで、類似度ベースの監視におけるノイズをモデル化すること。
• クリーンラベルにアクセスできない状況下で、ノイズの類似度ラベルデータから直接遷移行列を推定すること。
• ノイズの類似度監視のもとで一般化性能が優れるディープラーニングフレームワークを構築し、理論的裏付けを提供すること。

提案手法

• クラスラベルのノイズを遷移行列 T でモデル化し、T_ij = P(Ŷ=j|Y=i,X) と定義する。これは、クリーンラベル i がノイズラベル j に変化する確率を表す。
• 入力 X、クリーンラベル Y、ノイズラベル Ŷ、ノイズの類似度ラベル S を関連付けるグラフィカルモデルフレームワークを提案し、ノイズのモデル化を可能にする。
• トレーニングデータ内にアンカーポイントが存在すると仮定し、ノイズの類似度ラベルデータのみから遷移行列 T を推定する。
• ディスクリートなノイズ遷移行列層をディープニューラルネットワークに統合し、ノイズの類似度監視のもとでエンドツーエンドの学習を可能にする。
• 2段階のトレーニングプロセスを採用する：まず、f(X) = P(Ŷ|X) としてノイズ付き予測子を学習し、次に予測されたクラス分布を用いて T を推定する。
• 推定された T を用いて分類器の予測を補正し、ラベルノイズを考慮した新たな損失関数を用いて、ノイズに強いモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 クリーンラベルにアクセスできない状況下で、ノイズの類似度ラベルのみを用いて多クラス分類器を効果的に学習できるか？
• RQ2 クリーンラベルが入手不可な状況下で、類似度ベースの監視におけるラベルノイズをどのようにモデル化・推定できるか？
• RQ3 ノイズの類似度ラベルデータのみから、ノイズ遷移行列を正確に推定できるか？また、その推定が分類器の一般化性能を向上させるか？
• RQ4 本手法は、ラベルノイズの度合いやデータの不均衡度が変化する状況下でも、SOTA手法を上回る性能を示すか？
• RQ5 ノイズの類似度監視下での分類器の一般化誤差に対して、どのような理論的保証を提供できるか？

主な発見

• Clothing1M データセットでは、提案手法 MNS(Ŷ) が 67.50% の精度を達成し、SOTA の MCL 手法を 1.3 パcent point 上回った。
• Food-101 データセットでは、MNS(Ŷ) が 71.18% の精度を達成し、MCL (48.08%) よりも 23.1 パcent point の大幅な差をつけて優位に立った。
• 推定された遷移行列は非常に高精度であり、MNIST では誤差 0.0668、CIFAR-10 では 0.1144、CIFAR-100 では 0.1055 を示し、ノイズのモデル化が効果的であった。
• 類似度データが極めて不均衡な状況（k 個のクラスに対して約 1/k のペアが S=1 をとる）でも、本手法は良好な一般化性能を示した。Food-101 の結果がこれを裏付けている。
• 実世界のノイズを含むデータセットにおいて、本手法はラベルノイズとデータの不均衡の両方に対して頑健であることが示され、優れた性能を発揮した。
• 理論的分析により、本手法が一般化誤差の境界を保証することを確認し、弱教師あり学習の文脈において信頼性が高いことが裏付けられた。