[論文レビュー] WRENCH: A Comprehensive Benchmark for Weak Supervision

Jieyu Zhang, Yue Yu+5 more|arXiv (Cornell University)|Sep 23, 2021

Machine Learning and Data Classification参考文献 104被引用数 39

ひとこと要約

WRENCH は 22 の実世界データセット、さまざまな弱教師化ソース（実データ、合成、手続き型）、および弱教師化手法を評価するモジュール型フレームワークを備え、分類とシーケンスタグ付けの 120 を超える手法バリアントを可能にする標準化ベンチマークプラットフォームを提供します。

ABSTRACT

Recent Weak Supervision (WS) approaches have had widespread success in easing the bottleneck of labeling training data for machine learning by synthesizing labels from multiple potentially noisy supervision sources. However, proper measurement and analysis of these approaches remain a challenge. First, datasets used in existing works are often private and/or custom, limiting standardization. Second, WS datasets with the same name and base data often vary in terms of the labels and weak supervision sources used, a significant "hidden" source of evaluation variance. Finally, WS studies often diverge in terms of the evaluation protocol and ablations used. To address these problems, we introduce a benchmark platform, WRENCH, for thorough and standardized evaluation of WS approaches. It consists of 22 varied real-world datasets for classification and sequence tagging; a range of real, synthetic, and procedurally-generated weak supervision sources; and a modular, extensible framework for WS evaluation, including implementations for popular WS methods. We use WRENCH to conduct extensive comparisons over more than 120 method variants to demonstrate its efficacy as a benchmark platform. The code is available at https://github.com/JieyuZ2/wrench.

研究の動機と目的

• 弱教師化（WS）における標準化されたベンチマークの欠如を、多様で公開されたベンチマークプラットフォームを提供することによって解消する。
• データセット、ソース、評価プロトコルを横断して WS 手法の徹底的な評価を可能にする。
• 手続き型および合成ジェネレーターを用いて、弱教師化の属性が WS 手法の性能に与える影響を分析する。
• 将来の比較を促進する、標準化された評価スクリプトとベースラインを備えたモジュール型コードベースを提供する。

提案手法

• 多様な領域とラベリング関数（LFs）を備えた分類とシーケンスタグ付け用の 22 の実世界データセットを導入する。
• LF の特性（精度、傾向、相関、データ依存性）を体系的に検討するための手続き型および合成 LF ジェネレーターを提供する。
• 人気の WS 手法の実装と標準化された評価指標を備えた統一的で拡張可能な Python フレームワークを提供する。
• ラベルモデル、エンドモデル、およびソフト/ハードラベルの組み合わせによって 100 を超える手法バリアントを実現する。
• 分類およびシーケンスタグ付けタスクのためのベースライン手法を提示する（例：MV、DS、DP、MeTaL、FS、HMM、CHMM、ConNet、BERT 系）。
• データセット全体で WS 手法とアブレーションを比較するための広範な実験を通じて有用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 WS ベンチマークを標準化することは、手法とデータセット間の公正な比較にどのように影響するか。
• RQ2 精度、傾向、相関、データ依存性といった異なる弱教師化ソースの特性が WS 手法の性能に与える影響はどのようなものか。
• RQ3 二段階（ラベルモデル＋エンドモデル）と一段階（ジョイント）WS アプローチは、さまざまなタスクとデータ領域でどのように性能が異なるか。
• RQ4 エンドモデルの選択（例：ファインチューニングされた言語モデル）は、ラベルモデルのみの場合と比べて WS の成果にどの程度影響するか。
• RQ5 堅牢な WS 結果を得るために、LF の種類と評価プロトコルを選択する際にどのような指針を提供できるか。

主な発見

データセット	指標	最良の Gold EM	最良の Top1 EM LM 値	最良の Top2 EM LM 値	最良の Top3 EM LM 値	ノート
IMDb	Acc.	R	RC	MeTaL	RC	Top methods vary by dataset
Yelp	Acc.	R	RC	FS	RC	Soft labels beneficial in some cases
Youtube	Acc.	B	MV	MV	RC	End-model choices matter
SMS	F1	B	WMV	MeTaL	WMV	Soft labels often help
AGNews	Acc.	R	DS	MV	WMV	Dataset-dependent results
TREC	Acc.	R	DP	MeTaL	DP	LF types influence outcomes
Spouse	F1	–	FS	MeTaL	MV	Gold unavailable for training labels
CDR	F1	R	MeTaL	DP	DP	Dataset-specific performance
SemEval	Acc.	B	DP	MV	DP	Weak signals vary by dataset
ChemProt	Acc.	B	DP	MV	MV	LF quality varies
Commerical*	F1	MLP	MV	MV	MV	Non-textual data with features only
Tennis Rally*	F1	LR	FS	MeTaL	FS	Procedural LFs affect results
Basketball*	F1	MLP	FS	WMV	DP	LF quality impacts end models
Census*	F1	MLP	MeTaL	MeTaL	MeTaL	Correlations matter
CoNLL-03	Avg F1	–	LSTM-CNN (Gold)	BERT	ConNet	Sequence tagging baselines

• すべてのデータセットで一貫して他を上回る単一の WS 手法は存在せず、タスクと LF に依存した性能であることが示された。
• 大規模事前学習言語モデルのファインチューニングは、テキストデータに対してエンドモデルの性能を強く引き上げることが多く、ラベルモデルのみのアプローチを上回ることが頻繁にある。
• ソフトラベルは、特にエンドモデルが深くなるにつれて、ハードラベルよりもエンドモデルの性能を向上させる傾向がある。
• LF の品質、カバレッジ、および依存関係は WS の有効性に強く影響を与え；ノイズの多いまたはまばらな LF は、弱教師化とゴールドラベルの性能間のギャップを生み出す。
• 手続き型 LF ジェネレーターは、LF の相関とデータ依存性がラベルモデルの相対的な強さに実質的な影響を及ぼすことを示している。
• シーケンスタグ付けの結果は、依存性を考慮したモデル（例：HMM/CHMM）が MV よりも優れることが多く、いくつかのデータセットではカバレッジに応じてより単純なアプローチが有利になる。