[論文レビュー] Estimating Instance-dependent Label-noise Transition Matrix using DNNs.

Shuo Yang, Erkun Yang+5 more|arXiv (Cornell University)|May 27, 2021

Machine Learning and Data Classification参考文献 61被引用数 14

ひとこと要約

本稿では、ベイズ最適ラベルの1ホット後ろ向き分布の性質を活用することで、不確実性を低減し、解空間を縮小し、深層ニューラルネットワークを用いて、ベイズ最適ラベルからノイズのあるラベルへの遷移行列を推定する新規手法を提案する。このアプローチにより、インスタンス依存ラベルノイズ下でもより正確で一般化性の高い分類器の学習が可能となり、従来のクリーンラベル遷移行列推定手法を上回る性能を発揮する。

ABSTRACT

In label-noise learning, estimating the transition matrix is a hot topic as the matrix plays an important role in building statistically consistent classifiers. Traditionally, the transition from clean distribution to noisy distribution (i.e., clean label transition matrix) has been widely exploited to learn a clean label classifier by employing the noisy data. Motivated by that classifiers mostly output Bayes optimal labels for prediction, in this paper, we study to directly model the transition from Bayes optimal distribution to noisy distribution (i.e., Bayes label transition matrix) and learn a Bayes optimal label classifier. Note that given only noisy data, it is ill-posed to estimate either the clean label transition matrix or the Bayes label transition matrix. But favorably, Bayes optimal labels are less uncertain compared with the clean labels, i.e., the class posteriors of Bayes optimal labels are one-hot vectors while those of clean labels are not. This enables two advantages to estimate the Bayes label transition matrix, i.e., (a) we could theoretically recover a set of Bayes optimal labels under mild conditions; (b) the feasible solution space is much smaller. By exploiting the advantages, we estimate the Bayes label transition matrix by employing a deep neural network in a parameterized way, leading to better generalization and superior classification performance.

研究の動機と目的

• インスタンス依存ラベルノイズ下で頑健な分類器を学習する課題に対処すること。従来のクリーンラベル遷移行列推定は、この状況では不適切である。
• ベイズ最適ラベルが1ホットクラス後ろ向き分布を持つという性質を活用し、不確実性を低減し、より信頼性の高い行列推定を可能にすること。
• ノイズのあるデータから直接、ベイズ最適ラベル遷移行列を推定可能なパラメータ化された深層ニューラルネットワーク手法を開発すること。
• ベイズ最適ラベルの解空間が小さいことを利用し、一般化性能と分類性能を向上させること。
• ノイズのあるデータからベイズ最適ラベルを理論的に回復できる条件を確立すること。

提案手法

• クリーンラベルからノイズのあるラベルへの遷移ではなく、ベイズ最適ラベル分布から観測されたノイズのあるラベル分布への遷移をモデル化する。
• 深層ニューラルネットワークを用いてベイズ最適ラベル遷移行列をパラメータ化し、ノイズのあるデータからのエンドツーエンド学習を可能にする。
• ベイズ最適ラベルの1ホット性を活用して解空間を制約し、推定の安定性を向上させる。
• 予測されたノイズのあるラベル分布と観測されたノイズのあるラベル分布の乖離を最小化する最適化問題として推定を定式化する。
• 理論的回復が可能となる弱い仮定の下、ノイズのあるデータのみでネットワークを学習する。
• 推定された遷移行列を分類器の学習パイプラインに統合し、統計的に一貫性のある予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適ラベルの1ホット性を考慮すれば、ノイズのあるデータからのみでベイズ最適ラベル遷移行列を信頼性高く推定できるか？
• RQ2 クリーンラベルからノイズのあるラベルへの遷移をモデル化するのではなく、ベイズ最適ラベルからノイズのあるラベルへの遷移をモデル化することで、より良い一般化性能が得られるか？
• RQ3 このアプローチを用いて、ノイズのあるデータから理論的にベイズ最適ラベルを回復できる条件は何か？
• RQ4 ベイズラベル遷移の可能な解空間が小さくなることで、推定精度とモデルの頑健性がどのように向上するか？
• RQ5 提案手法は、既存のラベルノイズ学習手法に比べて、実験的にどの程度の性能向上が得られるか？

主な発見

• 提案手法は、インスタンス依存ノイズ設定下で、最先端のラベルノイズ学習手法を上回る優れた分類性能を達成した。
• 理論的分析により、弱い条件下でもベイズ最適ラベルが回復可能であり、遷移行列の一貫性のある推定が可能であることが示された。
• ベイズ最適ラベルの1ホット性は不確実性を顕著に低減し、より小さく安定した可能な解空間をもたらした。
• 深層ニューラルネットワークによる遷移行列のパラメータ化は、ノイズのあるデータにおいてより良い一般化性能と頑健性を実現した。
• 実験結果から、ベイズラベル遷移行列からの学習が、クリーンラベル遷移行列からの学習よりも、より正確で一貫性のある分類器を生成することが明らかになった。