[論文レビュー] On the Relationship between Data Efficiency and Error for Uncertainty Sampling

Stephen Mussmann, Percy Liang|arXiv (Cornell University)|Jun 15, 2018

Machine Learning and Algorithms参考文献 14被引用数 7

ひとこと要約

この論文はロジスティック回帰における不確実性サンプリングを調査し、データ効率と極限誤差率の間には強い逆関係があることを確立している。実験的に21のOpenMLデータセットにおいて、データ効率と逆誤差率の間には高い相関関係がある（ピアソン相関係数 r=0.79）。理論的に、漸近的データ効率が逆極限誤差率の定数倍の範囲にあることを証明し、不確実性サンプリングが低誤差データセットで最も効果的である理由を説明している。

ABSTRACT

While active learning offers potential cost savings, the actual data efficiency---the reduction in amount of labeled data needed to obtain the same error rate---observed in practice is mixed. This paper poses a basic question: when is active learning actually helpful? We provide an answer for logistic regression with the popular active learning algorithm, uncertainty sampling. Empirically, on 21 datasets from OpenML, we find a strong inverse correlation between data efficiency and the error rate of the final classifier. Theoretically, we show that for a variant of uncertainty sampling, the asymptotic data efficiency is within a constant factor of the inverse error rate of the limiting classifier.

研究の動機と目的

• ロジスティック回帰における不確実性サンプリングが、ランダムサンプリングに比べて顕著なデータ効率の向上を示す条件を理解すること。
• 同じアルゴリズムを使用しても、データセット間でアクティブラーニングの性能が大きく異なる理由を調査すること。
• 最適分類器の固有の誤差率とデータ効率の間の理論的・実証的関係を確立すること。
• 期待誤差率に基づいて、実務家が不確実性サンプリングとランダムサンプリングのどちらを使うべきかを実用的指針として提供すること。

提案手法

• OpenMLの21の二値分類データセットを用いて、不確実性サンプリングの実験的評価を行い、データ効率と最終分類器誤差を測定する。
• データセット間でデータ効率と逆誤差率の関係を定量化するために、ピアソン相関とスピアマン順位相関を用いる。
• 二段階の不確実性サンプリングの変種を理論的に分析する：まずランダムサンプリングで粗い分類器を構築し、次に意思決定境界付近でのアクティブサンプリングを行う。
• 受動的サンプリングと能動的サンプリング戦略の間のフィッシャー情報の比較を用いて、漸近的データ効率の境界を導出する。
• 意思決定境界と全体の分布における共分散の違いを補正するパラメータ $ s $ を導入する。
• データ効率 $ DE(\epsilon) $ が $ \frac{s}{4\text{Err}} $ で下限され、極限誤差率と逆比例することを証明する。

実験結果

リサーチクエスチョン

• RQ1 不確実性サンプリングがランダムサンプリングに比べて高いデータ効率を達成する条件は何か？
• RQ2 分類器の極限誤差率と不確実性サンプリングのデータ効率との間に定量的関係があるか？
• RQ3 理論的に最適であるにもかかわらず、不確実性サンプリングが一部のデータセットで失敗または性能を発揮しないのはなぜか？
• RQ4 分類器の極限誤差率に基づいて、データ効率の理論的境界を導出できるか？
• RQ5 意思決定境界付近のデータ分布が、不確実性サンプリングの性能に与える影響は何か？

主な発見

• 21のOpenMLデータセットにおいて、データ効率と逆誤差率の間には強いピアソン相関係数 0.79 とスピアマン順位相関係数 0.67 が観察された。
• 理論的分析により、漸近的データ効率が $ \frac{s}{4\text{Err}} $ で下限され、極限誤差率と直接的な逆比例関係にあることが示された。
• 追加の仮定（因子分解可能で対称なデータ）のもとで、データ効率は $ \frac{1}{4\text{Err}} $ から $ \frac{1}{2\text{Err}} $ の間で有界であることが示され、逆比例関係が裏付けられた。
• これらの結果により、不確実性サンプリングがノイズが多い（高誤差）データセットでは失敗し、低誤差データセットでは優れた性能を発揮するという経験的事実が説明された。
• 深層ニューラルネットワークの実験とも整合性があり、1%誤差のデータセットでは6倍のデータ効率が得られた一方、35%誤差のデータセットでは増益がなかった。
• 逆比例関係から、実務家はランダムサンプリングの誤差率が約10%未満である場合にのみ、不確実性サンプリングに切り替えるべきであると示唆される。