[論文レビュー] Classification with unknown class-conditional label noise on non-compact feature spaces

Henry W. J. Reeve, Ata Kabán|arXiv (Cornell University)|Feb 14, 2019

Machine Learning and Data Classification参考文献 30被引用数 4

ひとこと要約

本稿は、非コンpactな距離空間における未知のクラス条-件ラベルノイズ下での非パラメトリック分類の最小最大最適学習レートを確立する。ノイズなし設定と同一の学習レートが得られるのは、回帰関数が極値に急速に近づく場合に限るが、収束が遅い場合には学習レートが劣化し、分布的パラメータや局所密度に関する事前知識が不要な適応的アルゴリズムを提示する。

ABSTRACT

We investigate the problem of classification in the presence of unknown class-conditional label noise in which the labels observed by the learner have been corrupted with some unknown class dependent probability. In order to obtain finite sample rates, previous approaches to classification with unknown class-conditional label noise have required that the regression function is close to its extrema on sets of large measure. We shall consider this problem in the setting of non-compact metric spaces, where the regression function need not attain its extrema. In this setting we determine the minimax optimal learning rates (up to logarithmic factors). The rate displays interesting threshold behaviour: When the regression function approaches its extrema at a sufficient rate, the optimal learning rates are of the same order as those obtained in the label-noise free setting. If the regression function approaches its extrema more gradually then classification performance necessarily degrades. In addition, we present an adaptive algorithm which attains these rates without prior knowledge of either the distributional parameters or the local density. This identifies for the first time a scenario in which finite sample rates are achievable in the label noise setting, but they differ from the optimal rates without label noise.

研究の動機と目的

• 非コンパクトな距離空間における未知のクラス条-件ラベルノイズ下での分類の最小最大最適学習レートを特定すること。
• 回帰関数が極値に近づく速度が学習性能に与える影響を分析すること。
• 分布的パラメータや局所密度に関する事前知識が不要な最適レートを達成する適応的アルゴリズムを開発すること。
• 有限標本レートがラベルノイズ設定下でノイズなし設定とは異なる状況を特定すること。

提案手法

• 密度が閾値未満の領域における測度の減衰に基づく柔軟な尾仮定を導入し、有界密度や有限被覆次元といった制限的な仮定を回避する。
• 分布の尾における回帰関数の漸近的挙動を分析することで、最小最大最適学習レート（対数要因を除き）を導出する。
• データ駆動の信頼区間アプローチを用いて最適なkを選び、元の分布に関する事前知識がなくても収束を保証するk-NNに基づく適応的アルゴリズムを提案する。
• ホルダー連続性と最小質量仮定の下でk-NN回帰の高確率バウンドに依存し、和集合不等式と集中不等式を用いる。
• 信頼区間の交差戦略を用いて、バイアスとバリアンスのバランスを取る安定なk値を選択する。
• 理論的分析により、未知のラベルノイズ下でも、最小最大最適レート（対数要因を除き）を達成できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 回帰関数の尾挙動にどのような条件下で、ラベルノイズ設定下の学習レートがノイズなし設定と一致するか？
• RQ2 非コンパクト特徴空間における未知のクラス条-件ラベルノイズ下でも、有限標本学習レートを達成できるか？
• RQ3 回帰関数が尾部で極値にゆっくり近づく場合、収束速度が劣化するか？
• RQ4 分布の密度やパラメータに関する事前知識がなくても、最適レートを達成できる適応的アルゴリズムを設計できるか？
• RQ5 ラベルノイズ下での学習レートがノイズなし状況の最適レートと異なる状況は存在するか？

主な発見

• 最小最大最適学習レートは、分布の尾部における回帰関数が極値に近づく速度に強く依存する。
• 回帰関数が極値に急速に近づく場合、最適学習レートはノイズなし設定と一致する（対数要因を除き）。
• 回帰関数が極値にゆっくり近づく場合、分類性能は必然的に劣化し、学習レートは最適でなくなる。
• 分布的パラメータや局所密度に関する事前知識が不要な適応的アルゴリズムを提案し、最小最大最適レートを達成する。
• 本稿では、ラベルノイズ下で有限標本レートが達成可能であるが、ノイズなし状況の最適レートとは異なる最初の状況を同定する。
• 非コンパクト領域における関数の最大値を推定するシンプルで適応的な手法を、分析の副産物として導入する。