[論文レビュー] Instance-dependent Label-noise Learning under a Structural Causal Model

Yu Yao, Tongliang Liu+4 more|arXiv (Cornell University)|Sep 7, 2021

Machine Learning and Data Classification参考文献 31被引用数 31

ひとこと要約

本論文は CausalNL を紹介します。因果構造ベースの生成アプローチで X と構造的因果モデルを用い、インスタンス依存のラベルノイズを識別可能に学習し、分類器を改善します。合成データと実世界のノイズデータの両方で最先端手法を上回ります。

ABSTRACT

Label noise will degenerate the performance of deep learning algorithms because deep neural networks easily overfit label errors. Let X and Y denote the instance and clean label, respectively. When Y is a cause of X, according to which many datasets have been constructed, e.g., SVHN and CIFAR, the distributions of P(X) and P(Y|X) are entangled. This means that the unsupervised instances are helpful to learn the classifier and thus reduce the side effect of label noise. However, it remains elusive on how to exploit the causal information to handle the label noise problem. In this paper, by leveraging a structural causal model, we propose a novel generative approach for instance-dependent label-noise learning. In particular, we show that properly modeling the instances will contribute to the identifiability of the label noise transition matrix and thus lead to a better classifier. Empirically, our method outperforms all state-of-the-art methods on both synthetic and real-world label-noise datasets.

研究の動機と目的

• Y が X を引き起こす場合のラベルノイズの動機づけと対処。標準的な仮定では遷移 P(tilde{Y}|Y,X) の同定が難しい。
• X, tilde{Y}, Y, そして潜在 Z を結ぶ因果生成モデルを提案し、P(X) を活用してノイズ遷移の識別可能性を高める。
• SCM の下で変分推論フレームワーク（VAE ベース）を開発し、潜在的な Y と Z を学習してノイズデータからクリーンなラベルを回復する。
• 共教示を統合して信頼性の高い例を動的に選択し、識別可能性と遷移行列の学習を向上させる。

提案手法

• X = f(Z,Y,epsilon_X) および tilde{Y} = f(X,Y,epsilon_tilde{Y}) という構造的因果モデルを提案し、結合度を P(X, tilde{Y}, Y, Z) = P(Y)P(Z)P(X|Y,Z)P(tilde{Y}|Y,X) と因子分解する。
• 2 つのデコーダが p_theta1(X|Y,Z) と p_theta2(tilde{Y}|Y,X) をモデル化し、2 つのエンコーダが q_phi2(Z|Y,X) と q_phi1(Y|X) をモデル化する変分オートエンコーダフレームワークを使用する。
• q_phi(Y|tilde{Y},X) を q_phi(Y|X) で近似して、テスト時に tilde{Y} なしで Y を推定できるようにする。
• 再構成損失と KL 正則化項に加え、信頼性の高い例を動的に選択する共教示損失を最適化する。
• 共有構造を持つ2分岐アーキテクチャを採用し、エンコーダ q_phi1(X) と分岐横断の推定器間の共教示を可能にして、ノイズラベルに対する頑健性を高める。

実験結果

リサーチクエスチョン

• RQ1 構造的因果モデルはインスタンス依存のラベルノイズ遷移を開示・制約して識別性を向上させられるか。
• RQ2 X|Y,Z をモデル化し P(X) を活用することで P(tilde{Y}|Y,X) の識別性を高め、既存メソッドと比較して P(Y|X) を改善できるか。
• RQ3 共教示を因果生成モデルと統合して、インスタンス依存のラベルノイズに対する頑健性を強化できるか。
• RQ4 合成データと実世界のノイズデータセットで特に高ノイズ率の状況下でも有効か。

主な発見

• CausalNL は、合成データセット（FashionMNIST、SVHN、CIFAR-10、CIFAR-100）および実世界の Clothing1M で最先端のベースラインを一貫して上回り、ノイズ率が高くなるほどその利得が大きくなる。
• 因果生成過程を介して X をモデル化することで、ラベルノイズ遷移行列の同定性が向上し、クリーンラベルの回復が改善される。
• 変分推論フレームワークにより潜在的な Y と Z の推定が効率的に進み、インスタンス依存ノイズ下での分類器性能が向上する。
• 共教示コンポーネントは選択バイアスを緩和し、因果生成フレームワーク内で信頼できる例の同定を強化する。
• 基礎となる因果方向が Y が X を引き起こす場合でも、視覚データの一般的なデータ生成過程と一致することが示され、強い性能を発揮する。