[論文レビュー] Parts-dependent Label Noise: Towards Instance-dependent Label Noise

Xiaobo Xia, Tongliang Liu+7 more|arXiv (Cornell University)|Jun 14, 2020

Machine Learning and Data Classification参考文献 78被引用数 28

ひとこと要約

本稿では、アノテーションポイントを用いて学習された部分固有の遷移行列の組み合わせとして、インスタンスごとの遷移行列を近似することにより、インスタンス依存ラベルノイズをモデル化する新しい手法を提案する。合成データおよび実世界のデータセットにおける実験により、最先端の手法よりも優れた性能を示した。

ABSTRACT

Learning with the extit{instance-dependent} label noise is challenging, because it is hard to model such real-world noise. Note that there are psychological and physiological evidences showing that we humans perceive instances by decomposing them into parts. Annotators are therefore more likely to annotate instances based on the parts rather than the whole instances. Motivated by this human cognition, in this paper, we approximate the instance-dependent label noise by exploiting extit{parts-dependent} label noise. Specifically, since instances can be approximately reconstructed by a combination of parts, we approximate the instance-dependent extit{transition matrix} for an instance by a combination of the transition matrices for the parts of the instance. The transition matrices for parts can be learned by exploiting anchor points (i.e., data points that belong to a specific class almost surely). Empirical evaluations on synthetic and real-world datasets demonstrate our method is superior to the state-of-the-art approaches for learning from the instance-dependent label noise.

研究の動機と目的

• インスタンス依存ラベルノイズをモデル化する挑戦に取り組む。これは、その複雑でデータ固有の性質のため、捉えることが難しい。
• 人間の認知的基礎—インスタンスを部分に分解すること—を、ラベルノイズのモデル化の基盤として探求する。
• 部分レベルの遷移行列を用いてインスタンスレベルの遷移行列を近似することで、インスタンス依存ラベルノイズの存在下でも学習のロバストネスを向上させる。
• アノテーションポイント（特定のクラスに属する可能性が非常に高いデータポイント）を用いて、信頼性の高い遷移行列を学習する手法を開発する。

提案手法

• 本手法は、インスタンスを部分に分解することで、インスタンス依存ラベルノイズをモデル化する。各インスタンスがその構成部分から近似的に再構成可能であると仮定する。
• インスタンスレベルの遷移行列を、部分レベルの遷移行列の重み付き組み合わせとして近似することで、局所的なノイズモデリングを可能にする。
• 部分レベルの遷移行列は、アノテーションポイント（特定のクラスに属する可能性が非常に高いデータポイント）を用いて学習され、ノイズ推定のための信頼性の高い監視信号を提供する。
• 視覚的インスタンスの構成的性質（部分が全体のラベルノイズパターンに加法的に寄与する）を活用する。
• 最終的なモデルは、これらの学習済み部分レベルの行列を用いてトレーニング中にラベルノイズを補正し、インスタンス依存ノイズ下での一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インスタンスの部分を介してラベルノイズをモデル化することで、インスタンス依存ラベルノイズ下での学習精度が向上するか？
• RQ2 部分レベルの遷移行列は、インスタンスレベルのラベルノイズの複雑な構造をどれほど効果的に近似できるか？
• RQ3 アノテーションポイントを用いることで、ノイズのあるラベルの存在下でも部分レベルの遷移行列の推定がより信頼性の高いものになるか？
• RQ4 提案手法の部分依存アプローチは、実世界のインスタンス依存ラベルノイズを処理する際、既存の手法と比較してどのように優れているか？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、インスタンス依存ラベルノイズ下で最先端の手法を上回る性能を示した。
• 実験的結果から、部分を介したノイズモデリングにより、真のクラス分布の推定がより正確に行えることが示された。
• アノテーションポイントの使用により、ノイズ環境下でも部分レベルの遷移行列の安定的かつ信頼性の高い学習が可能になった。
• 部分レベルのモデリングにより、インスタンスレベルのノイズの構成的性質を効果的に捉えることで、一般化性能の向上が達成された。