[論文レビュー] Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach

Nan Lu, Tianyi Zhang+2 more|arXiv (Cornell University)|Oct 20, 2019

Machine Learning and Data Classification参考文献 56被引用数 16

ひとこと要約

本論文は、ラベルなしラベルなし（UU）分類における深刻な過学習を軽減する一貫性のあるリスク補正手法を提案する。過学習は、負の経験的リスクと同時に発生する。問題となるリスク項を補正関数でラッピングすることで、非負のリスク推定器を保証し、一貫性と一般化性能の向上を実証する。実験では、元のUU手法に比べて顕著な精度向上が得られた。

ABSTRACT

The recently proposed unlabeled-unlabeled (UU) classification method allows us to train a binary classifier only from two unlabeled datasets with different class priors. Since this method is based on the empirical risk minimization, it works as if it is a supervised classification method, compatible with any model and optimizer. However, this method sometimes suffers from severe overfitting, which we would like to prevent in this paper. Our empirical finding in applying the original UU method is that overfitting often co-occurs with the empirical risk going negative, which is not legitimate. Therefore, we propose to wrap the terms that cause a negative empirical risk by certain correction functions. Then, we prove the consistency of the corrected risk estimator and derive an estimation error bound for the corrected risk minimizer. Experiments show that our proposal can successfully mitigate overfitting of the UU method and significantly improve the classification accuracy.

研究の動機と目的

• ラベルなしラベルなし（UU）分類における深刻な過学習を是正すること。これは、異なるクラス事前確率を持つ2つのラベルなしデータセットから二値分類器を学習する最近の手法に基づく。
• 訓練データにおいて負の経験的リスクと同時に発生する過学習の根本的要因を特定すること。
• 負のリスク推定を防ぎつつモデルの表現力は維持する、一貫性のあるリスク補正フレームワークを開発すること。
• 補正されたリスク推定器の一貫性を証明し、最小化子の推定誤差バウンドを導出すること。
• 多様なモデル、最適化手法、データセットにおいて、補正が過学習を軽減しテスト精度を向上させることを実験的に検証すること。

提案手法

• 経験的リスクにおける負の値をとる原因となる項を補正関数でラッピングし、非負性を保証する。
• やや厳しい正則性条件のもとで一貫性を保つ補正リスク推定器を定義する。
• 補正されたリスク推定器の一貫性を理論的に証明し、最小化子の推定誤差バウンドを導出する。
• 標準的な経験的リスク最小化と互換性のある任意のモデルおよび最適化手法に補正を適用可能である。
• 訓練における目的関数として補正されたリスクを用いることで、表現力に犠牲を払わずモデルを正則化する。
• 一般化された正則化（例：ドロップアウト、重み減衰）よりも、UU設定において補正が顕著に効果的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 元のUU手法は不偏リスク推定に基づいているにもかかわらず、なぜ深刻な過学習を示すのか？
• RQ2 経験的リスク推定器が負の値をとる場合に、一貫性があり理論的根拠を持つ補正方法は存在するか？
• RQ3 負の経験的リスクと過学習の共起を活用して、より頑健な訓練目的関数を設計できるか？
• RQ4 提案された補正は、多様なモデルおよびデータセットにおいて一般化性能を向上させるか？
• RQ5 UU設定において、ドロップアウトや重み減衰といった標準的な正則化技術と比較して、提案手法は優れているか？

主な発見

• 提案されたリスク補正手法は、複数のデータセット、モデル、最適化手法、損失関数において、UU分類における過学習を効果的に軽減した。
• 負の経験的リスクと深刻な過学習の強い共起が、実験的に観察され、核心仮説の妥当性が裏付けられた。
• 補正されたリスク推定器は理論的に一貫性があり、最小化子は有界な推定誤差を達成した。
• 実験では、元のUU手法および標準的な正則化技術に比べて顕著なテスト精度の向上が得られた。
• 一般化された正則化（例：ドロップアウト、重み減衰）はUU設定では過学習を軽減できなかったが、提案された補正は問題に特化して設計されており、効果的であった。
• 標準的な正則化よりもモデルの表現力をよりよく保ち、過学習を効果的に軽減しながら、アンダーフィットを回避した。