[論文レビュー] Constrained Labeling for Weakly Supervised Learning

Chidubem Arachie, Bert Huang|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 5

ひとこと要約

本稿では、弱教師あり学習のためのデータフリーで効率的な手法である制約付きラベル学習（CLL）を提案する。CLLは、弱教師信号の期待誤差率と、その範囲内でラベルをランダムにサンプリングする制約付きラベル空間を定義し、モデルを学習する。CLLは高速に収束し、テキストおよび画像分類タスクで既存手法を上回り、誤差推定の不正確さに対しても頑健性を保つ。

ABSTRACT

Curation of large fully supervised datasets has become one of the major roadblocks for machine learning. Weak supervision provides an alternative to supervised learning by training with cheap, noisy, and possibly correlated labeling functions from varying sources. The key challenge in weakly supervised learning is combining the different weak supervision signals while navigating misleading correlations in their errors. In this paper, we propose a simple data-free approach for combining weak supervision signals by defining a constrained space for the possible labels of the weak signals and training with a random labeling within this constrained space. Our method is efficient and stable, converging after a few iterations of gradient descent. We prove theoretical conditions under which the worst-case error of the randomized label decreases with the rank of the linear constraints. We show experimentally that our method outperforms other weak supervision methods on various text- and image-classification tasks.

研究の動機と目的

• ディープラーニングにおける大規模データアノテーションのボトル neck を解消し、弱教師あり信号を用いて効果的な学習を可能にすること。
• 複数のノイズが混在し、相関関係にある可能性のある弱教師信号を、複雑な生成モデルや確率的仮定に依存せずに統合すること。
• 誤差推定の不正確さに対して頑健であり、重複する信号の過剰カウントを回避できる手法を開発すること。
• 制約付き最適化により高品質なトレーニングラベルを構築することで、モデルの一般化性能を向上させること。
• 収束が数イテレーションで達成できるスケーラブルで凸最適化フレームワークを提供すること。

提案手法

• CLLは、弱教師信号の期待誤差率に基づいて、未ラベルデータの可能なラベルの制約付き空間を定義する。
• この制約付き空間からランダムにラベルベクトルをサンプリングし、誤差推定と整合性を保つトレーニングラベルとして使用する。
• 候補ラベル上での凸最適化問題を定式化することで、数イテレーションで勾配降下法を用いて高速収束を実現する。
• 制約は、サンプリングされたラベルにおける各弱教師信号の誤差が、提示された期待誤差率を超えないように強制する。
• 敵対的最適化を回避し、すべての弱教師信号がすべての例をラベル付けする必要がないため、保留（ abstention ）を許容する。
• 理論的分析により、線形制約のランクが高くなるほどラベル精度が向上することが示され、線形的に独立した信号が冗長性を伴わずに性能を向上させることを裏付けた。

実験結果

リサーチクエスチョン

• RQ1 データフリーで凸最適化のアプローチが、複数の弱教師信号を効果的に統合し、高品質なトレーニングラベルを生成できるか？
• RQ2 誤差推定が不正確または緩い仕様である場合、この手法はどのように動作するか？
• RQ3 制約付きラベル空間は、重複または相関関係にある弱教師信号の過剰カウントを防げるか？
• RQ4 ラベルデータを必要とせずに、完全教師あり学習に近い性能を達成できるか？
• RQ5 既存の弱教師あり学習フレームワークと比較して、この手法のスケーリング性能と収束特性はいかがなものか？

主な発見

• CLLは、テキストおよび画像分類タスクの両方で、すべての競合手法を上回り、SVHN数字認識タスクでは、次に良い手法よりも23ポイント以上も高いテスト精度を達成した。
• IMDBテキストデータセットでは、キーワードベースの弱教師信号を用いて学習したCLLが、データプログラミングやマジョリティボイスによるラベルを用いたモデルよりも優れたテスト性能を示した。
• 定数の誤差推定を用いても、合成データセットでは完全教師あり学習に数パcentポイント以内のラベル精度を達成した。
• YelpおよびTrec-6では一部のベースラインより低いラベル精度であったが、依然として優れたテスト精度を達成しており、より良い一般化性能を示している。
• 最悪ケースの均一誤差推定を用いても、この手法は頑健であることが示され、誤差率の不正確さに対する感受性が低いことが示された。
• 理論的分析により、制約行列のランクが高くなるほどラベル品質が向上することが確認され、線形的に独立した信号が冗長性を伴わず性能向上に寄与することを検証した。