[論文レビュー] From Noisy Prediction to True Label: Noisy Prediction Calibration via Generative Model

HeeSun Bae, Seungjae Shin+4 more|arXiv (Cornell University)|May 2, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、事前学習済み分類器からのノイズのある予測を、ノイズのある予測から真のラベルへの遷移行列を推定するための深層生成モデルを用いて補正するpost-processing手法であるNoisy Prediction Calibration (NPC)を提案する。NPCは再訓練を必要とせず、複数のデータセットで分類精度を向上させ、特にMNIST や Fashion-MNIST のようなベンチマークデータセットで以前に見過ごされていたノイズのあるインスタンスを検出する点で、既存手法を著しく上回る。

ABSTRACT

Noisy labels are inevitable yet problematic in machine learning society. It ruins the generalization of a classifier by making the classifier over-fitted to noisy labels. Existing methods on noisy label have focused on modifying the classifier during the training procedure. It has two potential problems. First, these methods are not applicable to a pre-trained classifier without further access to training. Second, it is not easy to train a classifier and regularize all negative effects from noisy labels, simultaneously. We suggest a new branch of method, Noisy Prediction Calibration (NPC) in learning with noisy labels. Through the introduction and estimation of a new type of transition matrix via generative model, NPC corrects the noisy prediction from the pre-trained classifier to the true label as a post-processing scheme. We prove that NPC theoretically aligns with the transition matrix based methods. Yet, NPC empirically provides more accurate pathway to estimate true label, even without involvement in classifier learning. Also, NPC is applicable to any classifier trained with noisy label methods, if training instances and its predictions are available. Our method, NPC, boosts the classification performances of all baseline models on both synthetic and real-world datasets. The implemented code is available at https://github.com/BaeHeeSun/NPC.

研究の動機と目的

• 機械学習における継続的な課題であるノイズのあるラベルが分類器の一般化性能を低下させ、訓練後には修正が難しいという問題に取り組む。
• 訓練データやアーキテクチャへのアクセスがなくとも、任意の事前学習済み分類器に適用可能なpost-processingソリューションを開発すること。
• 深層生成モデルを用いてノイズのある予測から真のラベルへの遷移をモデリングすることで、ノイズのある予測の精度を向上させること。
• NPCが既存手法を上回ることを実証的に検証し、特に微細なまたは以前に見過ごされていたラベルノイズの検出において優れた性能を示すこと。
• 多様なノイズタイプと実世界のデータセット、特にかつてはクリーンとみなされていたベンチマークデータセットにおいて、本手法の頑健性を示すこと。

提案手法

• NPCは、真のラベルの監視が不要な深層生成モデルに基づく、ノイズのある予測から真のラベルへの遷移行列推定法を新たに導入する。
• 条件付き生成モデルを用いて、ノイズのある予測が与えられたもとでの入力の分布を学習し、逆推論により真のラベルを推定する。
• NPCは、入力がノイズのある予測のもとで得られる尤度を活用して、真のラベルの後方分布推定問題として補正を定式化する。
• 本手法は、従来の遷移行列手法と同等の理論的基盤を有しており、確立されたノイズモデリングフレームワークと整合性を保つ。
• NPCは、モデルの予測と入力特徴のみを必要とするため、ブラックボックス分類器に普遍的に適用可能なプラグイン型post-processorとして動作する。
• GradCAMを用いて可視化した結果、NPCはスプライアスな画像レベルのパターンではなく、クラスに関連する特徴に注目していることが示された。

実験結果

リサーチクエスチョン

• RQ1 訓練データやアーキテクチャへのアクセスがなくとも、post-processing手法が事前学習済み分類器からのノイズのある予測を効果的に補正できるか。
• RQ2 NPCの生成モデリングアプローチは、既存の遷移行列ベース手法と比較して、ノイズのある予測から真のラベルを推定する際にどの程度優れているか。
• RQ3 NPCは、MNIST や Fashion-MNIST のような広く使われるベンチマークデータセットにおいて、以前に見過ごされていたノイズのあるインスタンスをどの程度検出・是正できるか。
• RQ4 NPCは、対称的および非対称的ラベルノイズを含む多様なノイズ設定において、一般化性能を向上させることができるか。
• RQ5 NPCの注目メカニズムは、入力を生成する生成モデルとどのように異なり、その差が補正精度にどのような影響を及えるか。

主な発見

• NPCは、ノイズ比の情報がなくとも、合成および実世界の両方のデータセットで、すべてのベースラインモデルの精度を統計的に有意に向上させた。
• 20%の対称的ノイズを含むCIFAR-10において、NPCはCausalNLのpost-processor版よりも、(b)+(f)−((d)+(h))で5.59倍も効果的な是正を達成した。
• NPCは、MNISTおよびFashion-MNISTで50件の高信頼度で誤ってラベル付けされている可能性のあるインスタンスを特定した。その例として、スニーカーとアコーディオンブーツの混同のような、アノテーションと視覚的コンテンツの矛盾が生じたケースも含まれた。
• GradCAMの可視化結果から、NPCはクラスに関連する特徴に的を射た注目を示した一方で、CausalNLは生成目的に起因し、関係のない画像領域に注目していた。
• NPCは、評価されたすべてのベンチマークで最先端の性能を達成し、かつてはクリーンとみなされていたデータセットに対しても有効であることを示した。
• ベン図分析により、NPCは有害な是正（ケース4）を低減し、有益な是正（ケース2）を増加させることを確認した。これは、慎重かつ信頼性の高い補正戦略であることを示している。