[論文レビュー] Approximating Instance-Dependent Noise via Instance-Confidence Embedding

Yivan Zhang, Masashi Sugiyama|arXiv (Cornell University)|Mar 25, 2021

Machine Learning and Data Classification参考文献 73被引用数 6

ひとこと要約

本稿では、インスタンス固有のノイズ（IDN）を近似するためのインスタンス・コンfiデンス埋め込み（ICE）を提案する。この手法は、各インスタンスごとに学習可能なスカラのコンfiデンスを用いてラベルの不正な腐食をモデル化することで、画像およびテキスト分類タスクにおいて非滑らかでインスタンス特有のノイズパターンを捉え、モデルのロバスト性を向上させるとともに、曖昧または誤ってラベル付けされたインスタンスの検出を可能にする。

ABSTRACT

Label noise in multiclass classification is a major obstacle to the deployment of learning systems. However, unlike the widely used class-conditional noise (CCN) assumption that the noisy label is independent of the input feature given the true label, label noise in real-world datasets can be aleatory and heavily dependent on individual instances. In this work, we investigate the instance-dependent noise (IDN) model and propose an efficient approximation of IDN to capture the instance-specific label corruption. Concretely, noting the fact that most columns of the IDN transition matrix have only limited influence on the class-posterior estimation, we propose a variational approximation that uses a single-scalar confidence parameter. To cope with the situation where the mapping from the instance to its confidence value could vary significantly for two adjacent instances, we suggest using instance embedding that assigns a trainable parameter to each instance. The resulting instance-confidence embedding (ICE) method not only performs well under label noise but also can effectively detect ambiguous or mislabeled instances. We validate its utility on various image and text classification tasks.

研究の動機と目的

• 現実のデータセットにおいてインスタンス固有のラベル腐食を捉えられない、クラス条件付きノイズ（CCN）仮定の限界を是正すること。
• 個々のインスタンスの遷移行列の高コストな推定を回避する、実用的でドメインに依存しないインスタンス依存ノイズ（IDN）の近似手法を構築すること。
• インスタンス固有のコンフィデンススコアを学習することで、曖昧または誤ってラベル付けされたインスタンスの効果的検出を可能にすること。
• マルチクラス分類におけるラベル腐食プロセスを明示的にモデル化する、モデルに依存せずデータ効率の良いアプローチを提供すること。

提案手法

• 各インスタンスごとに1つのスカラのコンフィデンスパラメータを用いたIDNモデルの変分近似を提案し、全K×Kの遷移行列の推定の複雑さを低減する。
• インスタンス・コンフィデンス埋め込み（ICE）を導入し、各学習インスタンスにトレーニング可能なコンフィデンスパラメータを割り当て、非滑らかでインスタンス固有のノイズパターンをモデル化する。
• クラス後確率を推定する微分可能なニューラルネットワークを用い、トレーニング中に同時にコンフィデンスパラメータを最適化する。
• ノイズのあるクラス後確率を、インスタンス固有のコンフィデンス値によって決定される重み付き平均として定式化する。
• 交差エントロピー損失を用いてエンドツーエンドにモデルを訓練し、コンフィデンスパラメータはバックプロパゲーションにより更新する。
• 学習されたコンフィデンススコアを活用して、推論時に曖昧または誤ってラベル付けされたインスタンスを特定・フラグ付けする。

実験結果

リサーチクエスチョン

• RQ1 各インスタンスごとにスカラのコンフィデンスパラメータを用いることで、複雑なインスタンス依存ノイズパターンを効果的に近似できるか？
• RQ2 標準的なCCNベースのアプローチと比較して、ICE手法はインスタンス依存ノイズ下でもモデルの一般化性能を向上させるか？
• RQ3 学習されたコンフィデンススコアは、現実のデータセットにおける曖昧または誤ってラベル付けされたインスタンスを信頼性高く検出できるか？
• RQ4 さまざまなレベルのラベルノイズ下で、ICEは多様な画像およびテキスト分類ベンチマークで効果を発揮するか？
• RQ5 ドメイン固有の知識やノイズ構造に関する事前仮定を必要とせずに、ICE手法はロバストかつ有効であるか？

主な発見

• ICEは、インスタンス依存ノイズ下で画像およびテキスト分類ベンチマークにおいて最先端の性能を達成し、CCNベースのベースラインを上回る。
• 学習されたコンフィデンススコアを用いて誤ってラベル付けされたインスタンスや曖昧なインスタンスを効果的に検出でき、低コンフィデンスとラベルエラーとの間に高い相関が確認された。
• 実験により、ICEはオーバーフィッティングを低減し、特に高ノイズ環境下で一般化性能が向上することが示された。
• スカラのコンフィデンス近似は、完全な遷移行列推定と比較して顕著に低い計算コストでIDNの本質的側面を捉えることができた。
• ICEはCIFAR-10、CIFAR-100、およびQNLIやRTEなどの複数のNLPベンチマークを含む多様なデータセットにおいて、強いロバスト性を示した。
• ICEが学習するコンフィデンススコアは、ラベル品質と強く相関しており、外部の教師信号なしに効果的なデータクリーニングが可能であることがわかった。