[論文レビュー] Learning from Binary Labels with Instance-Dependent Corruption

Aditya Krishna Menon, Brendan van Rooyen+1 more|arXiv (Cornell University)|May 3, 2016

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、インスタンス依存およびラベル依存のラベルノイズがかかる二値分類を研究し、ノイズのある分布における一致性のある学習が、クリーンな分布に対しても一貫性を保つことを証明する。広範なノイズモデルのクラスに対して、受信操作特性曲線下の面積（AUC）の一貫性が保たれることをさらに示し、真のクラス確率関数が一般化線形モデル（GLM）族に属する場合には、Isotronアルゴリズムが破綻のないデータから効率的かつ保証可能な学習が可能であることを示している。

ABSTRACT

Suppose we have a sample of instances paired with binary labels corrupted by arbitrary instance- and label-dependent noise. With sufficiently many such samples, can we optimally classify and rank instances with respect to the noise-free distribution? We provide a theoretical analysis of this question, with three main contributions. First, we prove that for instance-dependent noise, any algorithm that is consistent for classification on the noisy distribution is also consistent on the clean distribution. Second, we prove that for a broad class of instance- and label-dependent noise, a similar consistency result holds for the area under the ROC curve. Third, for the latter noise model, when the noise-free class-probability function belongs to the generalised linear model family, we show that the Isotron can efficiently and provably learn from the corrupted sample

研究の動機と目的

• インスタンスおよびラベル依存のノイズがかかるノイズのある二値分類データセットにおいて、一貫性のある学習が元のクリーンな分布において最適な性能を達成できるかどうかを特定すること。
• 同じノイズモデル下で、受信操作特性曲線下の面積（AUC）の一貫性が保たれるかどうかを調査すること。
• 真のクラス確率関数が一般化線形モデル（GLM）族に属する場合に、破損データから効率的かつ保証可能な学習が可能となる条件を同定すること。
• インスタンス依存ラベルノイズの文脈において、Isotronアルゴリズムの理論的保証を確立すること。

提案手法

• ノイズのある分布で一貫性を持つ任意の分類アルゴリズムが、インスタンス依存ノイズ下ではクリーンな分布に対しても一貫性を持つことを証明する。
• 広範なインスタンスおよびラベル依存ノイズモデルのクラスに対して、受信操作特性曲線下の面積（AUC）の一貫性に関する結果を確立する。
• 真のクラス確率関数が一般化線形モデル族に属すると仮定したもとで、Isotronアルゴリズムを分析する。
• 理論的解析を用いて、ノイズモデルが特定の正則性条件を満たす場合に、Isotronが破損データから真の関数を保証的に学習できることを示す。
• ノイズモデルの構造を活用して、クリーン分布とノイズのある分布との関係を確立し、一貫性の保証を可能にする。
• 統計的学習理論および経験過程理論の結果を応用して、破損データ設定下での一般化誤差の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスおよびラベル依存のノイズがかかるノイズのある分布で一貫性のある分類が可能であれば、元のクリーンな分布に対しても一貫性のある分類が達成できるか？
• RQ2 インスタンスおよびラベル依存のノイズ下で、受信操作特性曲線下の面積（AUC）の一貫性がノイズのある分布からクリーンな分布へと伝播するか？
• RQ3 真の関数が一般化線形モデル族に属する場合に、Isotronアルゴリズムが破損データから真のクラス確率関数を保証的に学習できる条件は何か？
• RQ4 インスタンス依存ノイズモデルの構造が、破損ラベルからの学習の可能性にどのように影響するか？
• RQ5 ノイズがインスタンスおよび真のラベルの両方に依存する場合に、破損二値ラベルからの学習に対してどのような理論的保証を確立できるか？

主な発見

• インスタンス依存ラベルノイズ下では、ノイズのある分布で一貫性を持つ任意の分類アルゴリズムが、クリーンな分布に対しても一貫性を持つ。
• 広範なインスタンスおよびラベル依存ノイズモデルのクラスに対して、ノイズのある分布からクリーンな分布への受信操作特性曲線下の面積（AUC）の一貫性が保たれる。
• 真のクラス確率関数が一般化線形モデル族に属する場合、Isotronアルゴリズムは破損サンプルから効率的かつ保証的に学習が可能である。
• ノイズモデルが特定の正則性および可積分性条件を満たすと仮定したもとで、Isotronの性能に関する理論的保証が確立されている。
• ノイズの構造を活用して、クリーン分布とノイズのある分布との間の明確な関係を確立し、その構造から一貫性の結果を導出可能であることを示している。
• 結果として、インスタンス依存ノイズであっても、ノイズが入力および真のラベルの両方に依存する場合でさえ、一貫性のある学習が可能であることが示された。