[論文レビュー] Identifiability of Label Noise Transition Matrix

Yang Liu, Cheng, Hao+1 more|arXiv (Cornell University)|Feb 4, 2022

Water Systems and Optimization被引用数 6

ひとこと要約

本稿は、Kruskalのテンソル分解フレームワークを用いて、インスタンス依存のラベルノイズ遷移行列の同定可能性を確立し、3つの独立したノイズラベルが同定に必要かつ十分であることを証明している。また、分離特徴量が同定可能性を顕著に向上させることを明らかにし、最先端手法の成功をこの理論的枠組みで説明している。

ABSTRACT

The noise transition matrix plays a central role in the problem of learning with noisy labels. Among many other reasons, a large number of existing solutions rely on access to it. Identifying and estimating the transition matrix without ground truth labels is a critical and challenging task. When label noise transition depends on each instance, the problem of identifying the instance-dependent noise transition matrix becomes substantially more challenging. Despite recent works proposing solutions for learning from instance-dependent noisy labels, the field lacks a unified understanding of when such a problem remains identifiable. The goal of this paper is to characterize the identifiability of the label noise transition matrix. Building on Kruskal's identifiability results, we are able to show the necessity of multiple noisy labels in identifying the noise transition matrix for the generic case at the instance level. We further instantiate the results to explain the successes of the state-of-the-art solutions and how additional assumptions alleviated the requirement of multiple noisy labels. Our result also reveals that disentangled features are helpful in the above identification task and we provide empirical evidence.

研究の動機と目的

• 弱い教師付き学習における長年の未解決問題である、インスタンス依存のラベルノイズ遷移行列の同定可能性を形式的に特徴づけること。
• 既存のインスタンス依存のノイズラベルからの学習手法の成功を、理論的枠組みで統一的かつ説明すること。
• 分離特徴量や因果構造といった構造的仮定が同定可能性をどのように向上させるかを調査すること。
• インスタンスレベルの依存性下での遷移行列同定のための必要十分条件を提示すること。
• 弱い教師付き設定における同定可能性の向上に寄与する仮定を今後の研究に導くこと。

提案手法

• 3方向テンソルのKruskalの同定可能性結果を活用し、インスタンス依存遷移行列の同定の必要十分条件を導出する。
• 真のラベル Y、ノイズラベル Ŷ、インスタンス X が3モードテンソル構造で関連づけられる隠れ変数モデルを導入する。
• テンソル分解のランクと一意性に基づいて同定可能性を定義し、データ内のクラス数 K と異なるグループ数 G を用いる。
• 3つの因子行列のランクの合計が 2K−1 以上である条件を満たすことで、一意な分解が保証されることを用いる。
• このフレームワークを用いて、DNNベースの特徴学習、因果推論、自己教師付き対照的学習（SimCLR, IPIRM）といった既存手法を説明する。
• 実験的に、より分離された特徴量（例：IPIRM）が、遷移行列回復における推定誤差を低減することを検証した。

実験結果

リサーチクエスチョン

• RQ1 インスタンス依存のラベルノイズ遷移行列がどのような条件下で同定可能か？
• RQ2 真のラベルが入手できないにもかかわらず、既存の手法がなぜインスタンス依存のノイズラベルからの学習に成功するのか？
• RQ3 分離特徴量や因果構造といった仮定が同定可能性をどのように向上させるのか？
• RQ4 インスタンスレベルでの同定に必要な最小のノイズラベル数は何か？
• RQ5 理論的同定可能性条件は、自己教師付きおよび深層学習ベースのアプローチの実験的成功を説明できるか？

主な発見

• 3つの独立的かつ同一分布に従うノイズラベルが、インスタンス依存のノイズ遷移行列の同定に必要かつ十分である。
• 分離特徴量は推定誤差を顕著に低減する：CIFAR-10で0.6のインスタンス依存ノイズを想定した場合、誤差は弱教師付き学習の6.18±0.15からIPIRMの2.37±0.06に低下した。
• HOC や DNNベースの推定、因果アプローチの成功は、入力空間をより小さな識別可能なグループ空間 G に圧縮できる能力に起因する。
• テンソル分解における3因子行列のランクの合計が 2K−1 以上である場合に理論的同定が達成され、一意な回復が保証される。
• 自己教師付き事前学習（例：SimCLR, IPIRM）は、より分離された特徴量を生成し、標準的な交差エントロピー事前学習よりも遷移行列推定が優れている。
• 理論的分析により、DNN や因果構造を用いる手法が、X の有効次元を効果的に低下させ、G の可能な空間を縮小することで同定可能性を高めていることが示された。