[論文レビュー] Masking: A New Perspective of Noisy Supervision

Bo Han, Jiangchao Yao+5 more|arXiv (Cornell University)|May 21, 2018

Machine Learning and Data Classification参考文献 43被引用数 102

ひとこと要約

Maskingを導入する、ノイズ転移行列を人間が提供する構造事前情報で制約する構造認識型確率モデルで、エンドツーエンド学習におけるノイズ付きラベルに対する頑健性を向上させる。

ABSTRACT

It is important to learn various types of classifiers given training data with noisy labels. Noisy labels, in the most popular noise model hitherto, are corrupted from ground-truth labels by an unknown noise transition matrix. Thus, by estimating this matrix, classifiers can escape from overfitting those noisy labels. However, such estimation is practically difficult, due to either the indirect nature of two-step approaches, or not big enough data to afford end-to-end approaches. In this paper, we propose a human-assisted approach called Masking that conveys human cognition of invalid class transitions and naturally speculates the structure of the noise transition matrix. To this end, we derive a structure-aware probabilistic model incorporating a structure prior, and solve the challenges from structure extraction and structure alignment. Thanks to Masking, we only estimate unmasked noise transition probabilities and the burden of estimation is tremendously reduced. We conduct extensive experiments on CIFAR-10 and CIFAR-100 with three noise structures as well as the industrial-level Clothing1M with agnostic noise structure, and the results show that Masking can improve the robustness of classifiers significantly.

研究の動機と目的

• ノイズ転移行列の構造を利用して、ノイズ付きラベルからの学習を動機づける。
• エンドツーエンド学習に事前構造を組み込む構造認識型確率モデル（MASKING）を提案する。
• マスクされていない、妥当な遷移に焦点を当てることで、ノイズ遷移の推定負担を削減する。
• CIFAR-10/100の構造化ノイズと、Clothing1Mのアグノスティックノイズで頑健性の向上を示す。

提案手法

• 潜在変数 s と構造変数 s_o = f(s) を用いてノイズ転移行列をモデル化する。
• 構造事前分布 P(s_o) を具体化し、後部分布を変分分布 Q(s) によって近似する。
• 構造抽出を人間の認知に近づけるため、温度付きシグモイド f(s) を用いて（対角、三対角、ブロック対角など）を模擬する。
• 生成器（Q(S) を生成）、識別器（P(s_o) との構造整合を強制）、再構成器（y, x, そしてノイジーラベル tilde y を結びつける）を備えたGAN風スキームを採用。
• データ尤度と構造整合項（式(1)）を組み合わせたELBOベースの目的関数を導出。
• 正則化項のハイパーパラメータ調整を手動で行わずに済むエンドツーエンドの訓練レシピを提供。

実験結果

リサーチクエスチョン

• RQ1 人間の認知にインスパイアされた構造事前情報を、ノイズ付きラベルの学習にどのように統合できるか？
• RQ2 ノイズ転移行列に妥当な構造を課すことは、有限データ下での推定と最終的な分類器の精度を改善するか？
• RQ3 ベイズ的/暗黙的モデリング手法（MASKING）は、構造化ノイズの下で従来の二段階法やエンドツーエンドのノイズ付きラベル手法を上回るか？
• RQ4 MASKING は、異なるノイズ構造（列対角、三対角、ブロック対角）および現実世界のアグノスティックノイズ（Clothing1M）でどの程度性能を発揮するか？

主な発見

モデル	Clothing1M 精度（％）
NOISY	68.9
F-correction	69.8
S-adaptation	70.3
MASKING	71.1
CLEAN	75.2

• 構造化ノイズを含むベンチマークデータセットで、MASKING は前方修正およびS-adaptationより一貫して高性能を示す。
• CIFAR-10/100 では、複数のノイズ構造で MASKING がクリーンデータのオラクルに近い性能を達成する。
• Clothing1M のアグノスティックノイズでは、MASKING（71.1%）は NOISY（68.9%）、F-correction（69.8%）、S-adaptation（70.3%）を上回り、CLEAN（75.2%）に近い。
• MASKING によるノイズ転移行列の推定は、ベースラインより真の/望ましい構造により近く一致する。
• この手法は、複数のノイズパターン（対角、三対角、ブロック対角）および実世界のノイズデータで頑健な改善を示す。
• このフレームワークは、GAN風構造を介して構造事前情報を組み込む、原理的でハイパーパラメータの少ない方法を提供する。