[論文レビュー] Active Learning for Skewed Data Sets

Abbas Kazerouni, Qi Zhao+3 more|arXiv (Cornell University)|May 23, 2020

Machine Learning and Algorithms参考文献 49被引用数 7

ひとこと要約

本稿では、極度に不均衡なデータセットにおいて初期ラベル付きデータが非常に少ない状況でも性能を向上させるために、未ラベルデータの探索と既存のラベル付きデータの活用のバランスをとる、新しいアクティブラーニング手法であるハイブリッドアクティブラーニング（HAL）を提案する。HALは、マージンベースの選択とランダムまたはガウス分布からのサンプリングといった単純な探索手法を組み合わせることで、同じラベル付け予算において、特に初期段階でマージンサンプリングを著しく上回り、精度-再現率AUCが優れている。

ABSTRACT

Consider a sequential active learning problem where, at each round, an agent selects a batch of unlabeled data points, queries their labels and updates a binary classifier. While there exists a rich body of work on active learning in this general form, in this paper, we focus on problems with two distinguishing characteristics: severe class imbalance (skew) and small amounts of initial training data. Both of these problems occur with surprising frequency in many web applications. For instance, detecting offensive or sensitive content in online communities (pornography, violence, and hate-speech) is receiving enormous attention from industry as well as research communities. Such problems have both the characteristics we describe -- a vast majority of content is not offensive, so the number of positive examples for such content is orders of magnitude smaller than the negative examples. Furthermore, there is usually only a small amount of initial training data available when building machine-learned models to solve such problems. To address both these issues, we propose a hybrid active learning algorithm (HAL) that balances exploiting the knowledge available through the currently labeled training examples with exploring the large amount of unlabeled data available. Through simulation results, we show that HAL makes significantly better choices for what points to label when compared to strong baselines like margin-sampling. Classifiers trained on the examples selected for labeling by HAL easily out-perform the baselines on target metrics (like area under the precision-recall curve) given the same budget for labeling examples. We believe HAL offers a simple, intuitive, and computationally tractable way to structure active learning for a wide range of machine learning applications.

研究の動機と目的

• ウェブアプリケーション（嫌がらせ発言やスパム検出など）で一般的に見られる、初期ラベル付きデータが極めて少ない極度に不均衡なデータセットにおいて、効果的なバイナリ分類器を訓練する課題に対処すること。
• 従来の手法（例：マージンサンプリング）がバイアスや局所的収束のため失敗する状況におけるアクティブラーニングの性能を向上させること。
• 探索と活用のコンponentを統合した、より良いデータ選択が可能なモジュラなアクティブラーニングフレームワークを設計すること。
• 単純な探索手法（例：ランダム、ガウス分布）が、不均衡データ設定におけるマージンベースのアクティブラーニングをどのように向上させるかを評価すること。
• 実世界への導入に際しての、有効な検証セット構築と探索戦略設計における未解決問題を特定すること。

提案手法

• HALは、マージンサンプリング（活用）と汎用的な探索スキームを組み合わせ、ラベル付けの対象となる未ラベル付きデータポイントを選択する。
• 探索コンponentは、既存のラベル付きポイントからの距離に基づいてポイントを選択し、未到達領域のカバレッジと多様性を高めるために、距離が遠いポイントを優先する。
• ハイパーパramータ $ p $ を用いて、マージンサンプリングと探索の貢献度をバランスさせるハイブリッド選択ルールを採用する。
• アルゴリズムはバッチ形式で動作し、繰り返しポイントのラベル付け、分類器の再訓練、選択戦略の更新を行う。
• 探索スキームは、特徴空間におけるラベルの滑らかさを仮定し、ラベル付き例への近接度に基づいて利得を推定する。
• 計算効率が良く、モジュラ構造を取っているため、コアのマージンベース活用部分を変更せずに、さまざまな探索戦略を統合可能である。

実験結果

リサーチクエスチョン

• RQ1 極度のクラス不均衡と初期ラベル付きデータの最小限の状況下で、アクティブラーニングをどのように改善できるか？
• RQ2 探索とマージンベース活用を組み合わせることで、マージンサンプリング単体よりも優れた性能が得られるか？
• RQ3 不均衡データ設定において、単純な探索スキーム（例：ランダム、ガウス分布）はマージンサンプリング単体と比べてどのように異なるか？
• RQ4 探索と活用のバランスを制御するハイパーパrameter $ p $ が性能に与える影響は何か？
• RQ5 ラベル付きデータが極めて少ない状況下で、効果的な検証セットを構築する際の課題と戦略は何か？

主な発見

• HALは、特に訓練データが不足している初期のラベル付けラウンドにおいて、マージンサンプリングを精度-再現率AUCの観点で著しく上回る。
• ランダムまたはガウス分布からのサンプリングといった単純な探索スキームでさえ、HALはマージンサンプリング単体よりも優れた性能を達成する。
• 探索と活用のバランスを制御するハイパーパrameter $ p $ の選択が、性能に顕著な影響を与えるが、最適値は実験的にチューニングする必要がある。
• アルゴリズムの性能は、MNIST や不均衡な合成データを含む、合成データおよび実世界データの両方で頑健である。
• 探索コンponentにより、マージンサンプリングが不確実性の局所的領域に閉じ込められることを防ぎ、全体的なカバレッジと一般化性能が向上する。
• 本研究では、不均衡データ設定下でのコスト効率の良い検証セットの構築が、今後の研究において重要な未解決問題であると特定した。