[論文レビュー] Training Subset Selection for Weak Supervision

Hunter Lang, Aravindan Vijayaraghavan+1 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

この論文では、弱教師あり学習におけるシンプルでプラグアンドプレイなサブセット選択手法を提案し、弱教師ありラベル付けされたデータから高品質で高精度の学習例を選択することで、モデルの精度を向上させている。事前学習済み表現とカット統計量を用いて、近隣の例と整合性のある例を特定し、さまざまなデータセットやモデルで最大19%の絶対的精度向上を達成している。真のラベルは必要としない。

ABSTRACT

Existing weak supervision approaches use all the data covered by weak signals to train a classifier. We show both theoretically and empirically that this is not always optimal. Intuitively, there is a tradeoff between the amount of weakly-labeled data and the precision of the weak labels. We explore this tradeoff by combining pretrained data representations with the cut statistic (Muhlenbach et al., 2004) to select (hopefully) high-quality subsets of the weakly-labeled training data. Subset selection applies to any label model and classifier and is very simple to plug in to existing weak supervision pipelines, requiring just a few lines of code. We show our subset selection method improves the performance of weak supervision for a wide range of label models, classifiers, and datasets. Using less weakly-labeled data improves the accuracy of weak supervision pipelines by up to 19% (absolute) on benchmark tasks.

研究の動機と目的

• 既存の弱教師あり学習パイプラインでは、しばしば低精度の例を含む全弱教師ありラベルデータが非効率に使用されている問題に対処すること。
• 弱教師あり学習におけるカバレッジ（データ量）と精度（ラベルの質）のトレードオフを調査すること。
• 真のラベルや既存のラベルモデル・分類器の変更を必要とせず、モジュール型で即座に統合可能な高品質な学習サブセット選択手法を開発すること。
• 弱教師ありラベルデータのより小さな、高精度なサブセットを用いることで、下流の分類器性能が向上することを示すこと。

提案手法

• 本手法は、事前学習済み表現（例：BERT）を用いて弱教師ありラベル付き例を潜在空間に埋め込む。
• 同じ仮ラベルを持つ例が表現空間における最近隣接点と密に接続されているサブセットを特定するために、カット統計量を適用する。
• カット統計量は、期待されるランダム性を基準に、同じラベルの近隣点の数に基づくスコアを計算し、一貫性のある予測クラスタを優遇する。
• カバレッジハイパーパrameter β によって決定される上位スコアの例の一部が、最終的な学習サブセットとして選択される。
• 本手法はモジュール型であり、ラベルモデルの出力と最終モデルの学習の間に入れ込み可能で、任意のラベルモデルおよび分類器と互換性がある。
• Snorkel や ASTRA などの既存の弱教師あり学習パイプラインに統合するには、数行のコード変更で十分である。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり学習パイプラインで全弱教師ありラベルデータを使用すると、ラベルノイズのため性能が最適でない結果になるのか？
• RQ2 高精度の例を高カバレッジの例よりも優先するデータ選択手法により、弱教師あり学習の性能を向上させられるか？
• RQ3 真のラベルにアクセスできない状況でも、カット統計量が高品質な学習サブセットを効果的に特定できるか？
• RQ4 カット統計量によるサブセット選択は、さまざまなデータセット、ラベルモデル、分類器において、全データ学習と比較してどのように異なるか？
• RQ5 本手法は、ASTRA のような反復的弱教師あり学習フレームワークに効果的に統合できるか？

主な発見

• 提案手法のサブセット選択により、ベンチマークタスク全体で最大19%の絶対的精度向上が達成され、顕著な性能向上が示された。
• TREC および SemEval データセットでは、カット統計量と ASTRA を組み合わせることで、10個のラベル付き例で精度が82.70%から91.10%に、20個のラベル付き例で86.53%から90.27%に向上した。
• カバレッジハイパーパrameter β のチューニングを行わずとも、複数のデータセットやモデルで、全データ学習を常に上回る性能を示した。
• カット統計量は、事前学習済み表現の幾何的構造を活用することで、近隣点と整合性のある仮ラベルを持つ例を効果的に特定している。
• 本手法はモジュール型で、任意のラベルモデルおよび分類器と互換性があり、既存のパイプラインへの統合に最小限のコード変更で可能である。
• 異なるランダムシードやハイパーパrameter設定に対しても性能向上が安定しており、バリデーションセットでのβのチューニングがなくても改善が観察された。